使用过Midjourney的同学都知道要用MJ控制生成统一的角色有多难,恰巧这两天刚看到一个据说某大厂的绘画文章“AIGC控制⻆⾊⼀致性的5个⽅法”,看完也尝试做了一下虽然没想象中的惊艳,但也是值得参考的,小刚在这里分享给大家。

控制角色一致性的5个方法

①垫图

②seed值微调

③关键词指令

④连续画面公式【神奇前缀+关键词组+图像比例】

⑤万能公式【起名+垫图+微调】

前三种流行方法,出图效果相对不理想,适合【对角色表情要求不太高,但是希望快速出图】的场景。

而④和⑤是实验过多次后,比较后效果相对不错的方式,但是出图需要多次垫图+微调,适合【对角色表情要求较高,时间充裕】的场景使用。

而小刚之所以在标题中说6个方法,是因为我觉得换脸也算一种方法,尤其是针对写实性的人物是很有效的方法。关于如何使用插件换脸,就不在这篇文章中赘述了,请查看之前的文章:Midjourney精准换脸插件Insightface介绍

一、垫图法

图片url+提示词+iw2

提示词:https://s.mj.run/MyLP-hhdaDY Blind box style,a cute little girlwith a cat ears hat,furry clothes, full body, chibi, looking at the camera, pop mart, C4D,octane rendering, ultra Details,edgelighting, chiaroscuro,8K, chibi,best quality,HD –ar 1:1 –iw 2 –niji 5 –style expressive –iw 2

角色一致性的3个要点:

①垫图越相似,生成角色越精准(垫图一般在2-4张)

②图片顺序越前,权重越高

例如:你使用了多张垫图,则生成结果将和第一张相似度最大。所以建议把你最喜欢的图片链接URL,放在最前面

③关键词末尾添加–iw2参数,可使生成的图片和原图更相似iw参数表示图像/关键词权重,参数范围【.5-2】.5更接近描述,2更接近垫图,不填写=默认1

如图3:垫图并添加了–iw2参数后,比直接垫图(图2)效果更好(保留了原图的神态发型等细节)

二、SEED微调

替换关键词+seed值

如将提示词中的帽子的猫耳朵替换成老鼠耳朵

Blind box style,a cute little girlwith a mouse ears hat,furry clothes, full body, chibi, looking at the camera, pop mart, C4D,octane rendering, ultra Details,edgelighting, chiaroscuro,8K, chibi,best quality,HD –ar 1:1 –iw 2 –niji 5 –style expressive

操作步骤:

1、获取seed值,在图片上右键,添加反应,如果没用过可以显示更多搜索envelope点信封图标。原来不支持升格后的单图添加反应,现在可以在单图上添加了,但是这并不是单图的seed,还是原始四格图的。

MJ机器人就会给发送私信,复制seed值即可

2、用微调的提示词+seed值生成新图

https://s.mj.run/MyLP-hhdaDY Blind box style,a cute little girlwith a mouse ears hat,furry clothes, full body, chibi, looking at the camera, pop mart, C4D,octane rendering, ultra Details,edgelighting, chiaroscuro,8K, chibi,best quality,HD –ar 1:1 –niji 5 –style expressive –seed 705157361 –iw .5

感觉不垫图,单独seed值也有可能抽到类似的,说明seed值还是有些用处的:)

三、关键词命令

N panels with different poses(多面板不同的姿势)

N panels with continuous doing(多面板连续的动作)

front side back three views(三视图)

character sheet(多视角动作)

emoji + expression sheet(不同的表情包)

multiple poss and expressions (多重姿势和表情)

可结合以上5组关键词搭配使用

不同图片比例生成效果差异大,根据不同情况需使用不同比例。常用比例:–ar 1:13:416:9

效果展示:使用基本提示词 Blind box style, a cute little girl with a cat ears hat, furry clothes, full body, chibi, pop mart, C4D, actane rendering, ultra Details, edgelighting, 8K, chibi, best quality, HD –niji 5 –style expressive

① 4 panels with different poses

② 4 panels with continuous doing

注:panels命令,在16:9比例下会失效

③ three views, the front view,the side view and the back view

注:三视图命令,在3:4/9:16比例下会失效,16:9效果比较好

④ character sheet with multiful poss and expressions

⑤ emoji, expression sheet

可以尝试多种不同的组合,这种形式比较适合拿来做表情包

四、连续画面公式

神奇前缀+关键词组+图像比例9:16

神奇前缀:

children’s illustration, Cartoon animation haractor, random film stills of dreamWorks Animation, (翻译:儿童插图,卡通动画片主持人,梦工厂动画的随机电影剧照)

关键词组:

continuous shooting / sequence shoot / front side back three views(连拍、三视图)

图像比例:–ar 9:16 

使用这个公式,可以神奇地一次就输出:多张像电影分镜一样的连续性画面(如下图)。多个关键词组合后,可大大提升出现连续性画面的概率。

使用方法:

① 提示词开头使用神奇前缀 children’s illustration, Cartoon animation haractor, random film stills of dreamWorks Animation, 

② 在描述人物动作的关键词中,增加以下任一关键词

  • doing
  • continuous shooting 
  • sequence shoot
  • front side back three views

③ 出图比例限定在9:16,即在末尾增加以下指令–ar 9:16

④ 替换要微调的关键词,重新生成

结合上述关键词,根据你要生成的内容,重新组合关键词内容

children’s illustration, Cartoon animation haractor, random film stills of dreamWorks Animation, front side back three views, forest, fantasy anime environment, cute girl, playing hide and seek, lovely, DOF, bokeh, Dreamy sunset night, Rembrandt lights, extreme High key lighting, C4D render, pixar render, unity official production, white balance, vivid color, wallpaper, ultra detailed, best quality, UHD –ar 9:16 –niji 5 –style expressive

  • 注:(1) 如果一次未生成连续性画面,反复多Roll几次即可。
  • (2) 二次元和插画风格也可以实现连续效果,但是概率较低,且最好使用niji 5。
  • (3) 效果不理想,可以结合垫图+seed+微调参数,进行调整。

小刚测试感觉起主要的作用是three views这个指令,至于shoot连拍和动作只是辅助作用,单独使用不会生成连续多图,大家也可以测试看看。

五、万能公式

起名 → 垫图 → 微调

起名:给角色起名字,生成两三张风格角色统一的图片,且后续生成不同图片时,名字需保持一致。比如:Cocothe rabbit,有助于AI标记特征集和关键词的对应,生成更统一的结果

垫图:多次垫图+关键词调整,逐次改变具体行为和环境

微调:使用微调参数,多次调整出图

使用这个公式可以:保持人物一致的情况下,微调改变角色的动作/环境(如下图)。且方法适用于多种风格和形象,可作为通用公式使用

操作步骤:

① 起名:给角色起名,通过关键词生成参照图组

Children’s illustration, Mayu is a cute 7-year-old girl wearing a little yellow hat cape, smiling sweet, The round face has big curious eyes, full body, Pixar style, 3D rendering, dramatic, intricate details, ultra realistic –niji 5 –style expressive

生成图片后,挑选几张形象类似的,放大作为备用图

② 垫图:备用图垫图,调整关键词(改变动作+环境)

https://s.mj.run/YOMpKni92oA Children’s illustration, Mayu is a cute 7-year-old girl wearing a little yellow hat cape,smiling sweet,The round face has big curious eyes, Mayu is drinking afternoon coffee by a table, Pixar style, 3D rendering,dramatic,intricate details,ultra realistic-niji 5 –style expressive

③ 微调参数

使用微调参数,对结果多次微调(不同角色风格对技巧运用各异,一次出图可能性很低,理想结果需多次迭代抠细节)可使用以下微调参数进行调整(参数教程可以参考小刚之前的文章:Midjourney 命令及参数详解(第二版)

这个方法小刚感觉生成简单的场景还可以,太过复杂也力不从心,当然这也可能主要是Pixar风格本身的限制,大家可以自己尝试一下~

以上方法存在的问题

① seed微调

seed只决定起跑点,而关键词/参数/垫因才决定最终走向

② 关键词命令

生成一套角色模版,只适用有限场景,步骤繁琐,而且要手动抠图很麻烦

③ 连续画面公式

效果比较随机,不一定每次都能出现连续画面

④ 万能公式

效果依赖于大量垫图,以及对比选图,耗费时间长,效率较低

在业务需求中,如果对角色一致性要求特别高的话,其实以上5种方法仍不能做到完美的控制。这时候,建议大家通过学习Stable Diffusion,使用模型训练,会更加精准和高效。