SDXL
SDXL1.0实测:通用大模型补齐,MJ悬了
2023年7月30日,今天stability开源的SDXL1.0我实测完了,SD阵营缺了多年的通用大模型终于补齐,赶紧把对比结论和用法记下来。
AI绘图上一直有两个阵营:一派是以开源为首的StableDiffusion,一派是以封闭为首的Midjourney。过去基于SD的生态蓬勃发展,出现过无数优秀大模型,比如我经常极力推崇的MajicMIX还有GhostMIX。但这些大模型无一例外都是特定画风或特定场景的,从来没有那种比肩MJ5.2或者Niji5质量的通用大模型。直到前几天stability开源SDXL1.0,SD阵营这块短板终于被彻底补齐,所有SD玩家都可以自豪地说一句:劳资也有通用大模型啦!MJ吔屎啦你!
然而最值得期待的并不是SDXL本身,而是未来基于它发展起来的生态。现有C站、Liblib上的模型基本都基于SD1.5微调而来——通用大模型本身就像一个姑娘的底子,微调就是化一层妆。SD1.5这个1分的底子,化完妆都有将近7分的实力;那SDXL1.0这个本身就5~6分的底子,化完妆有多牛逼?这个想象空间太大了。赫赫有名的DreamShaper已经第一时间推出基于SDXL1.0的微调版本,我认识的几个挺有名的大模型作者也在加班加点做SDXL1.0的微调适配,未来一周内可能出现大量超级模型。
但有一说一,现阶段原生SDXL1.0离MJ还有距离。我用完全一模一样的prompt跑了同一组图(SDXL1.0现在对长语义的理解已经很好,尺寸用的是它效果最好的1024*1024):在超写实和真实场景里,SDXL能跟MJ V5.2打得有来有回;但在审美上差距还很明显,stability的审美真的很直男——比如樱花落在北极熊身上那张,构图、光影、色彩对比,SDXL的简直不忍直视。不过审美本来也不是stability的强项,还是让广大网友去微调吧。至于插画、3D领域,拿SDXL1.0跟Niji5比就有点欺负它了,目前还属于被摁在地上爆锤的情况,但未来可期,毕竟网友人才多。
目前SDXL有两种用法:官方在线版和本地SD。stability的官网Clipdrop(网址 https://clipdrop.co/ )集成了他们自家一堆应用,第一个工具就是SDXL1.0在线版,手写prompt就行,下面三个选项可以选风格、尺寸,以及写负面提示词;生成完我会再增强一下提高分辨率。目前每天可以带水印免费跑400张。嫌水印麻烦可以用哩布哩布的在线SD,每天也能免费100张,他们第一时间支持了SDXL1.0——注意,用SDXL1.0时下面那个XL Refiner选项必须勾选。
然后是最常用的本地安装。需要下载3个模型:两个大模型(base和refiner)加一个VAE。打开秋叶大佬的SD启动器,版本更新到1.5.1,正常装模型和VAE即可。SDXL1.0的工作流跟以前不一样:先用base做一遍文生图,尺寸必须1024*1024,生成的图再发送到图生图、切换refiner模型跑一遍,这样才能得到最好效果。这里提醒一句,SDXL对配置要求非常高,大概需要32G以上内存和12G以上显存。我自己的电脑是16G内存加3060显卡,即使加了30G虚拟内存,SDXL1.0一运行必爆。没这个配置就别下模型了,直接用Clipdrop或者liblib。而且刚出来的SDXL1.0生态非常不完善,不支持SD1.5基础的所有LoRA,也不支持ControlNET,我不建议现在就在本地跑,线上试试就行,等两三周生态、插件、体验完善了再开整也不迟。
写在最后。
补几句实测里印象最深的细节:SDXL1.0对人物手部、面部结构的稳定性比SD1.5强了一大截,出废图的比例明显下降;但画面里带中英文文字的能力依旧拉几,想出带字的海报基本没戏。另外它对提示词的理解不再需要以前那套咒语堆砌,正常描述就能出不错的结果,这对新手是质变。
SDXL1.0是SD的一次反击。SD从来不是靠通用大模型质量取胜,它靠的是生态,是百万开发者基于SD构建起的超级生态帝国。以前的SD1.5本身质量太差,可在这种质量的模型上居然都演化出了N多能跟Midjourney掰手腕的大模型。而现在质量提高了无数数量级的SDXL1.0,基于它的生态上限无法想象未来有多辉煌。
留给Midjourney的时间,确实不多了。AI绘图行业的格局,也该变天了。