利用LoRA做出屬於你的夢幻角色,這次來教大家做屬於你的夢幻風格寫真,還有一些需要用到的功能,要做出超級模特兒,我們需要以下材料:
Kohya's GUI/LoRA+VAE
說之前先還認識一下
內容目錄
Toggle材料介紹
Chilloutmix
認識一下原始作者TASUKU2023,這模型庫是當初他所製作的,後來擔心法律責任因而放棄了整個模型庫版權,以下是他的Twitter,可以看到很多不錯的作品
Kohya’s GUI/LoRA
這是我們的核心重點,利用Kohya’s GUI來訓練我們要的LoRA模型,也就是如果要更進階做出,較為客製或是較多能控制因素,就需要這個訓練功能!
例如:我要很明確的A角色在C的地方做B事情
如果你沒有透過學習,AI就會不聽你的話,生成的東西就會很隨機,導致失去的掌握度!
VAE
強化影像用,例如臉變形修正/色調校正,一些可以幫助影像優化的程式
環境部屬
✅資料結構配置
打開你SB資料夾(路徑以你的為主) D:\stable-diffusion-webui
因為我們的目的是要打造出屬於你的夢幻風格畫面,也就是需要透過Kohya’s GUI+LoRA來學習,那這個步驟先來教導一下安裝的程序,過程會需要注意的資料夾我標註一下.一共有3個,其中2個你要自行新增,名稱自訂,如下圖所示:
- AIsourse-訓練圖片專用原始檔
- AIsourse_OK-訓練完畢的生成檔
- models-LoRA模型輸出放置的位置
✅安裝Kohya’s GUI
安裝前注意stable diffusion webui必須也要先安裝好,接下來安裝2個程式
安裝VS元件
Visual Studio 2015, 2017, 2019, and 2022 redistributable
安裝PowerShell
首先要開啟PowerShell,如果不知道你是否有裝過,可以到WINDOWS的搜尋輸入PowerShell尋找
沒有安裝過過可以參考微軟的文件,或是直接安裝Git和Python
-
-
git安裝比較沒問題
- Python版本比較多,我是用Python 3.11.1,如果有更新可以用高一點版本的,或是往下一階,有時軟體太新支援度跟穩定度會有點問題
-
安裝完成後應該就可以找到PowerShell,其實PowerShell有點像是命令提示字元的功能,注意要開起執行要先透過系統管理員喔!不然就算打得開也不能執行後續安裝
下載並安裝Kohya’s GUI
設定執行原則
Set-ExecutionPolicy Unrestricted
題外話:
因為安全性的考量,在沒有更改過設定之前,是不允許執行 Windows PowerShell 的腳本檔。所以我們要來更變「執行原則」。預設狀態下,執行原則的設定值是 Restricted,也就是說你根本不能執行任何的 Windows PowerShell 腳本檔。
執行原則有下列 4 種:
- Restricted :關閉腳本檔的執行功能,這是預設的設定值。
- AllSigned :只允許執行受信任發行者簽署過的腳本檔。
- RemoteSigned :在本機電腦所撰寫的腳本檔,不需要簽署就可執行;但是從網際網路(例如:email、MSN Messenger)下載的腳本檔就必須經過受信任發行者的簽署才能執行。
- Unrestricted :任何腳本檔皆可被執行,但是於執行網際網路下載的腳本檔時,會先出現警告的提示視窗。
下載kohya程式
首先要選擇你要存放的磁碟,注意需要一些空間,建議5G以上最好能騰出個10G,命令中想放在D槽就輸入D:之後就輸入下載程式的指令:
git clone https://github.com/bmaltais/kohya_ss.git
開始進行下載
下載完畢之後開始做安裝作業,這裡需要一段時間,緊接著在PS D:\>之後輸入以下指令
cd kohya_ss
python -m venv venv
.\venv\Scripts\activate
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install --use-pep517 --upgrade -r requirements.txt
pip install -U -I --no-deps https://github.com/C43H66N12O12S2/stable-diffusion-webui/releases/download/f/xformers-0.0.14.dev0-cp310-cp310-win_amd64.whl
cp .\bitsandbytes_windows\*.dll .\venv\Lib\site-packages\bitsandbytes\
cp .\bitsandbytes_windows\cextension.py .\venv\Lib\site-packages\bitsandbytes\cextension.py
cp .\bitsandbytes_windows\main.py .\venv\Lib\site-packages\bitsandbytes\cuda_setup\main.py
accelerate config
差不多要收尾了命令要你回答以下問題:
最後一段的要注意,不要按太快,只要看到出現以下訊息
Do you wish to use FP16 or BF16 (mixed precision)?
(請先按數字鍵1之後選單移到fp16再按Enter)
勿必選對喔~fp16
輸入完畢之後就安裝完成了!
以上步驟較為繁瑣,其實就只是下載與安裝步驟而已!
✅顯卡優化程式
之後可以在針對顯卡部分下載優化程式
解壓縮後將檔案資料夾cudnn_windows 複製到Kohya’s GUI的根目錄底下,如下圖所示:
最後一步,用剛剛的PowerShell回到Kohya’s GUI下之後,輸入以下指令:
.\venv\Scripts\activate
python .\tools\cudann_1.8_install.py
等待執行完畢,安裝步驟就搞定了!!