齐白石身世清贫，又是从湘西外地来的，无权无势，他看不惯这些画人的作为，因此有人拉他入会，他都谢绝，常常遭到画会会员的讪笑讥讽。有人讪笑白石翁故作文雅，作诗却像“薛蟠体”。关于薛蟠体，他在张次溪笔录的《白石白叟自述》一书中，曾有如下记叙：光绪二十五年(乙亥)1899，他37岁。“到了十月十八日，就同了仲飏(铁匠)到湘公(王闿运，字湘绮)那里正式拜门……仲飏又对我说：‘湘绮师评你的文却是像个姿态，诗却成了《红楼梦》里呆霸王薛蟠的一体了。’这句话却是说着我的毛病了，我做的诗彻底写心里头要说的话，没有在字面上修饰过，自己看过，也有点呆霸王那样的味儿啊!”晚清文学家王湘绮当年的善意批判，却成了同行歹意讪笑的口舌。由此他画了这幅《人骂我，我也诅咒》，并且刻了一方二寸见方的大图章，印文为“悉数画会无缘参与”。“无缘”者，倒不是画会拒绝齐白石参与，而是他不想参与。后来他又刻了一方更大的“我国长沙湘潭人也”的白文印章，可见他确是一位有节气、讲节操的湖南血性铁汉子。