IPAも良いが、結構構図も色々と固定されてしまうので、自分でLoRAを作ってみた。 29枚の画像をMobile RTX3060 6GB VRAMで6時間超の学習でWeight 1.0で以下の結果。 悪くない。 訂正: DTのRTX3060 12GBだと60枚程度で30分で学習するので、Mobile GTXは学習向けではないのかも。

一気に5モデルMergeしたが、酷く破綻したというわけではない。 ベースモデルに対して0.1-0.2ぐらいBlockでMergeしたので、大部分が気持ちちょっと変わったかなという感じだったが、ベースモデルをMerge modelに置き換えて2nd passを回したらレシピが分からなくなって最初からやりなおした。。 まだ、70％以上がベースモデルな割合だが、1:1でBlock毎に微調整をかける感じで調整中。 ただ、ベースモデルの方がしっかりとディテールが残っている。 これは、2D系のMixを相当入れているのでしょうがない。 ただ、ベースモデルの完成度を感じさせることでもあった。 マージモデル、水彩画っぽいタッチになった。 ベースはもうちょっと油絵っぽい。 どうみてもStanley Artgerm Lauの絵学習してるよな… 著作権的にはグレーだろうなぁ。

約二ヶ月間24/7でstable diffusionを回し続けたが(電気代のことは忘れたい…)、結局自分でMerge Modelを作るということになった。それほど難しいことではない。 画像生成をしても似たような画像ばかりになってきたし、Promptネタもつきてきたなと言うときに手を出す感じです。 外国産のモデルx3、日本産x2でMerge。 外国産のモデルをベースに他4つをほんの少々加えましたという程度(Input Block 0-2, 4-5, 7-8, Mid BlocksしかMergeしてない)。 ここから改良を加えていくが外国産のNSFWを含むPromptの自由度と日本人のモデル、あとちょっとリアル系はとくいでないので、2.9D-2.8Dぐらいのトーンを目指した。 PromptでNSFWを指定してもかたくなに拒むモデルもあるが、これは比較的簡単に対応可能。 Photoshopしてノイズを乗せたりしているが、以下が生成画像。 著作権上問題ないとされているものをPick Upしたが、公開とかしない。 ModelのTrainingはしない。 あれは多人数でやるものだと思う、個人的には。 (追記)相当、沼にはまるなという感じ…

色々なPromptがWebに掲載してあるが、一つずつ足していくとずいぶんと上手く行くことに気がついた。 怠けてコピペでどばっとよく分からないPromptを流し込んでも駄目なことが分かった。 add_detail (lora)を足しても異物は出なくプログラム言語のようにANDやPromptをBlock化するためにBREAKを多用すると破綻することが分かった。 下記は一つずつプロンプトを足していった経過。左上から右下に沿ってPromptを追加している。