但时间才过了一个月，他们的争论就渐渐多了起来。
高更作画时，喜欢把速写和记忆里的形象重新组合，人物站在哪里，树长成什麽样，都可以按自己的需要安排。
梵谷更愿意对着真实的人和风景作画，虽然他会把颜色表达得更浓烈，也会夸大人物的神情，却总体上还是要遵循自然和现实，按他的话说，就是「画你看到的东西」。
高更起初只是提一点建议，後来就越来越像在教他画画了。
「你已经盯着她看了一下午，还要看多久？」一次模特离开以後，高更对他说，「试着凭记忆画吧。你总得从那些现实的牢笼里脱身，进入想像的海洋。」
梵谷确实试着这麽作，他想起了故乡的花园，开始画记忆中的小径和树林，还有母亲与妹妹。
开头还算顺利，可是等画到人物的脸庞时，他的笔停下来了，过了很久，他把刚画好的地方全涂掉了。
高更过来看，建议他把两个人的位置移一移，再删去旁边的一部分花草：梵谷照着改
过，可第二天又想改回来。
「这样下去，你永远也画不完。」高更说。
「可我记得她们不是这个样子的！」
「那就画你记得的样子。」
「我已经在画了！但她们的脸每天都在变！」
两人第一次为一幅画争吵起来，高更说梵谷太固执，梵谷则认为高更根本不理解自己，只想着把自己的画改成他喜欢的风格。
到了晚上，梵谷又去敲高更的房门，想把白天没有说清楚的话继续说完；可高更已经躺下了，只答应和他略谈一会儿。
结果梵谷越说越激动，从眼前那幅花园谈到过去画过的人像，又谈起两人共同喜欢的画家————
高更几次提醒时间已经很晚了，他要休息了，梵谷都没有停下。
最後，高更坐起身，指了指门：「文森特，我明天还要画画。你至少得让我睡觉！」
梵谷这才离开，可回到自己的房间，他依然睡不着，躺下没多久又爬了起来，把那幅画搬到面前涂抹起来。
此後，两人各自在外面待的时间越来越长。
高更嫌阿尔勒太小，认识的人又少，天气一变坏，除了回屋里呆着，就只能去咖啡馆。
他已经开始和梵谷讨论自己离开的事，还说布列塔尼有不少题材没有画完，他还想再回去一趟。
梵谷每次听见，都要劝他再住
…。。