今天分享內(nèi)容的視頻版如下，視頻已添加進(jìn)度條及配音，文中涉及到的模型已上傳，想要原視頻以及模型的鹿友公眾號(hào)后臺(tái)回復(fù)“455”獲取：

【資料圖】

以下是圖文版內(nèi)容：

正文共： 3653字 52圖

預(yù)計(jì)閱讀時(shí)間： 10分鐘

可能是上了歲數(shù)了，更新頻次總是很慢，稍微弄一弄就覺得累，學(xué)東西感覺精力也不集中，后面我盡量更文快一點(diǎn)吧。

上一期我們分享了SD的安裝、文生圖的概述并且做了一次Ai繪圖初體驗(yàn)，今天我們進(jìn)一步分享一下SD模型的分類以及使用。

再次說明，我不是專業(yè)人士，文章內(nèi)容的認(rèn)知僅限于軟件操作以及從網(wǎng)絡(luò)上學(xué)來的一點(diǎn)點(diǎn)理論知識(shí)并加上自己的理解。

01

SD模型的管理建議

開始SD模型的分類及使用介紹之前，這里先給大家在模型管理方面一點(diǎn)點(diǎn)小的建議。

首先，SD模型存放的文件夾是可以添加子文件夾的，并且支持中文，因此你可以根據(jù)自己的需求將模型進(jìn)行分類存放：

其次你在C站或者其他網(wǎng)站下載模型的時(shí)候，建議最好把該模型的效果圖也下載一張下來，和對(duì)應(yīng)的模型放在一起并且重命名為相同的名字：

這樣你在SD界面點(diǎn)擊顯示附加網(wǎng)絡(luò)面板的紅色按鈕時(shí)，不僅可以看到該模型的效果圖：

還可以根據(jù)你新建的子文件夾進(jìn)行分類展示和選擇：

另外當(dāng)你生成出一張你覺得不錯(cuò)的圖片的時(shí)候，也可以鼠標(biāo)停留在該模型名稱的位置。

會(huì)彈出用當(dāng)前生成圖片替換預(yù)覽的提示，點(diǎn)擊這串提示就可以將你生成的圖片替換為模型封面了：

如果你在其他網(wǎng)站上下載，不清楚模型的類型，可以到秋葉開發(fā)的spell.novelai.dev/這個(gè)網(wǎng)站：

把你需要查詢的模型拖進(jìn)去，它就會(huì)告訴你模型的類型，不過有些模型它會(huì)分析不出來，對(duì)于新手來說夠用了：

02

Checkpoint模型

接下來說一說模型的分類，SD常用模型大致分為五種，第一種我們稱為大模型或者主模型，主模型的存放路徑為SD安裝目錄\models\Stable-diffusion：

大模型中首先有一類模型我們需要了解，那就是官方模型，例如我這里下載的有官方模型1.5版本和2.1版本：

官方模型我們?nèi)粘：苌僦苯佑盟鼇砩蓤D片，它更多被當(dāng)做底模用于訓(xùn)練模型，C站上可以看到和選擇基礎(chǔ)模型的版本號(hào)：

而我們最常用的其實(shí)是除了官方模型之外的主模型，叫做Checkpoint，你甚至可以簡(jiǎn)單理解幾乎所有模型都是基于官方模型作為底模來進(jìn)行訓(xùn)練得到的：

Checkpoint模型通常體積比較大，一般至少2個(gè)G，它可以直接用于生成圖像，不需要搭配其他的文件：

并且它們都有比較擅長(zhǎng)生成的圖像類型，例如這個(gè)Anything v3就是專門用來生成二次元的：

而這個(gè)Realistic Vision v2就比較偏向?qū)憣?shí)類別的：

03

VAE模型

VAE模型的存放路徑為SD安裝目錄\models\VAE：

說它是模型，但其實(shí)VAE更像是個(gè)濾鏡，在生成圖片過程中搭配著主模型使用，起到調(diào)色和微調(diào)的作用：

我們這里用Anything v3來簡(jiǎn)單示范一下VAE的作用吧，例如我這里的生成一只貓坐在地上的圖像，并且沒有加載VAE：

然后我在固定住隨機(jī)種子的同時(shí)，加載這個(gè)叫做Anything v3的VAE，可以明顯看到生成的圖像色彩更鮮艷了：

需要單獨(dú)加載VAE的模型，在下載的時(shí)候都會(huì)有提示，并且VAE文件名稱通常也是與它對(duì)應(yīng)的主模型相同：

但其實(shí)你加載其他VAE也是可以的，效果上會(huì)有差異，我這里加載了其他的VAE生成了一個(gè)對(duì)比圖大家可以看看：

另外現(xiàn)在大部分的主模型已經(jīng)內(nèi)置了VAE，一般來說不需要你單獨(dú)下載。

如果模型里沒有任何說明，那以生成圖的效果為準(zhǔn)，不必要的情況下就不用加載VAE了。

不過也有例外的，比如我下載了一個(gè)叫做ReV Animated的模型，它的說明里有推薦使用的VAE：

而當(dāng)我僅僅使用這個(gè)主模型不加載VAE的時(shí)候，生成圖時(shí)反而會(huì)出錯(cuò)：

這個(gè)時(shí)候就需要你去加載作者推薦的VAE或者嘗試用其他的VAE才行了：

04

Embedding模型

Embedding模型又叫Textual Inversion模型，需要和主模型一起搭配使用：

它的存放路徑為SD安裝目錄\embeddings：

Embedding可以簡(jiǎn)單理解為提詞打包模型，它可以生成指定角色的特征、風(fēng)格或者畫風(fēng)。

舉個(gè)例子，我這里要生成電鋸人中瑪琪瑪?shù)男蜗?，?dāng)我在提詞框里輸入makima，SD似乎不認(rèn)識(shí)這個(gè)人，因此生成的圖片和瑪琪瑪完全沒有關(guān)系：

而當(dāng)我們使用瑪琪瑪這個(gè)Embedding模型時(shí)，可以看到提詞框內(nèi)會(huì)添加一個(gè)模型的提詞。

這個(gè)提詞其實(shí)包含了很多用于描述瑪琪瑪?shù)奶卣鞯奶嵩~內(nèi)容，因此在沒有其他額外提詞的情況下，它就已經(jīng)能夠?yàn)槲覀兩蓭К旂鳜斕卣鞯膱D片了：

再比如我這里有一個(gè)復(fù)古科幻電影風(fēng)格的Embedding模型，當(dāng)我正常輸入熊貓、街道等提詞的時(shí)候，它是這樣的：

當(dāng)我載入這個(gè)Embedding模型之后，畫面的風(fēng)格就變了，不過可能有時(shí)候會(huì)出錯(cuò)，例如這里頭變多了：

沒關(guān)系，反向提詞里我們輸入many head，這樣就好了：

由于Embedding模型本質(zhì)是提詞打包，所以這類模型的體積通常很小，這既是它的優(yōu)點(diǎn)，也是它的缺點(diǎn)。

優(yōu)點(diǎn)是節(jié)省空間資源，但由于體積小所攜帶的信息少，因此在畫面、風(fēng)格的還原度上可能差強(qiáng)人意，所以現(xiàn)在使用這種模型的也越來越少了：

05

Hypernetwork模型

Hypernetwork模型同樣需要搭配主模型一起使用，它最常用于畫風(fēng)、效果的轉(zhuǎn)換，但同樣也可以用于生成指定的角色：

它的存放路徑為SD安裝目錄\models\hypernetworks：

例如我這里同樣生成一個(gè)男人的圖像：

然后我固定住了隨機(jī)種子，載入這個(gè)帶有透明人特效的Hypernetwork模型，可以看到提詞框里多了一些內(nèi)容：<hypernet:invisble_10:1>

Hypernet代表模型的類型，invisble_10代表模型的名稱，冒號(hào)后面的1代表著這個(gè)模型的使用權(quán)重，直接點(diǎn)擊生成就能得到一個(gè)透明人的效果了：

Hypernetwork模型相比于Embedding體積要大一些，在一些比較精細(xì)的效果上不是特別出眾，所以現(xiàn)在在使用度上也越來越少了：

06

Lora模型

最后就是最近最火的Lora模型了，它最大的特點(diǎn)就是幾乎圖像上的信息它都可以訓(xùn)練，并且還原度非常高。

現(xiàn)在網(wǎng)絡(luò)上流行的很多Ai真人繪圖基本都是用的這類模型，甚至你可能會(huì)看到很多畫出來的網(wǎng)紅形象都很像，這是由于他們用的是同一款Lora：

這里額外提示一句，大家在使用Lora的過程中一定要有版權(quán)和法律意識(shí)，否則你可能會(huì)給自己帶來麻煩，具體詳見秋葉整合包中的用戶協(xié)議：

它的存放路徑為SD安裝目錄\models\Lora：

Lora模型同樣需要搭配主模型來使用，并且由于Lora訓(xùn)練的時(shí)候是基于大模型訓(xùn)練的，因此使用Lora配套的大模型通常效果會(huì)更好。

例如我很喜歡這個(gè)盲盒風(fēng)格的Lora，在它的介紹頁面通常作者會(huì)寫是基于什么模型訓(xùn)練的：

如果介紹頁面沒有寫，也可以通過作者生成的圖以及評(píng)論區(qū)點(diǎn)擊圖片右下角的符號(hào)看到是用的什么模型：

然后可以直接搜索把這個(gè)主模型也下載下來：

我們來嘗試使用一下這個(gè)Lora吧，例如我這里先用百度翻譯了一下一只可愛的貓咪戴著小獅子鬃毛樣式的帽子，提取到的關(guān)鍵詞是1cat,cute,hat in the style of a little lion's mane：

先生成一下圖找一個(gè)感覺不錯(cuò)的隨機(jī)種子固定住，然后再進(jìn)一步調(diào)整：

現(xiàn)在生成的圖我想把帽子去掉，但是保留小獅子鬃毛的那種感覺，所以我把hat in the style of a little lion's mane拆分成了little lion style,mane。

并且在小獅子前面加了一個(gè)golden金色的形容詞，在貓咪后面加了一個(gè)little的提詞：

先這樣吧，這個(gè)時(shí)候我們直接載入這個(gè)Lora模型，盲盒玩偶的感覺就出來了：

讓我們?cè)诖嘶A(chǔ)上進(jìn)一步調(diào)整一下圖像吧，這里我們先把秋葉安裝包里的起手式填寫進(jìn)去，這些提詞基本就是對(duì)畫質(zhì)的描述，比較通用：

然后再把我們之前的提詞填寫進(jìn)去生成看看效果：

接著提詞中我額外加了open mouth,flower,outdoors,grass,等內(nèi)容：

然后我覺得現(xiàn)在小獅子鬃毛的感覺又有點(diǎn)少了，所以用小括號(hào)括起來加冒號(hào)跟數(shù)值的方式提高鬃毛的權(quán)重，并且提高了一點(diǎn)點(diǎn)采樣步數(shù)：

最后PS里簡(jiǎn)單調(diào)色加點(diǎn)文字看看效果吧：

我覺得還挺可愛的，沒想到就分享了一下SD的五種模型就寫了這么多內(nèi)容。

不知道大家有沒有暈，最后再用一個(gè)不太準(zhǔn)確的例子類比一下這幾種模型的關(guān)系：

官方主模型：安卓原生系統(tǒng)

Checkpoint模型：基于安卓原生系統(tǒng)開發(fā)的其他安卓系統(tǒng)，例如小米的Miui，魅族的Flyme。

VAE模型：手機(jī)設(shè)置中調(diào)整顯示的亮度、對(duì)比度以及色彩模式的功能。

至于Embedding、Hypernetwork和Lora這三種模型，都是用來微調(diào)主模型的小模型。

可以簡(jiǎn)單理解為主題市場(chǎng)中的各種主題，有的主題效果好點(diǎn)，有的主題效果差點(diǎn)，有的主題體積小點(diǎn)，有的主題體積大點(diǎn)。

更多詳細(xì)的內(nèi)容我們以后有時(shí)間再分享，希望今天的內(nèi)容對(duì)大家有所幫助，希望各位鹿友一鍵三連支持哦！

更多內(nèi)容歡迎關(guān)注公眾號(hào)：

本文由“野鹿志”發(fā)布

轉(zhuǎn)載前請(qǐng)聯(lián)系馬鹿野郎