如何在 Tensor.Art 使用 ControlNet 功能?OpenPose 與 Reference 模型

本文詳述如何在 Tensor.Art 平台上使用 ControlNet 功能,特別針對 OpenPose 和 Reference 模型的應用。文章提供了詳細的操作步驟,幫助用戶有效利用這些模型進行創作。此外,還分享了提升創作效果的實用技巧與建議。

還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!

Tensor Art:https://tensor.art/

什麼是ControlNet?

在 Tensor.Art 模型的地方可以添加 ControlNet

Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。

ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:

  1. 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
  2. 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
  3. 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。

這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。

總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。

在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天先介紹 OpenPose 與 Reference 模型!

OpenPose 模型

有多個 OpenPose 預處理器。

OpenPose 檢測人體關鍵點,例如頭部、肩膀、手部等位置。它可用於複製人體姿勢,而無需複製其他細節,例如服裝、髮型和背景。

所有 openpose 預處理器都需要與 ControlNet 的 Model 下拉功能表中的 openpose 模型一起使用。

OpenPose 預處理器包括:

  • OpenPose:眼睛、鼻子、眼睛、脖子、肩膀、肘部、手腕、膝蓋和腳踝。
  • OpenPose_face:OpenPose + 面部細節
  • OpenPose_hand:OpenPose + 手和手指
  • OpenPose_faceonly:僅面部細節
  • OpenPose_full:以上所有
  • dw_openPose_full:OpenPose_full 的增強版本(使用 Dw OpenPose 提取所有細節。)

OpenPose

OpenPose 是基本的 OpenPose 預處理器,可檢測眼睛、鼻子、眼睛、頸部、肩部、肘部、手腕、膝蓋和腳踝的位置。

OpenPose_face

OpenPose_face 完成 OpenPose 處理器所做的一切,但會檢測額外的面部細節。

它對於複製面部表情很有用。

範例圖像:

OpenPose_faceonly

OpenPose 人臉僅檢測人臉,而不檢測其他關鍵點,這對於僅複製人臉而不適用於其他關鍵點,身體不受約束。

OpenPose_hand

OpenPose_hand 將關鍵點檢測為 OpenPose 以及手和手指。

範例圖片:

結果算是有點差強人意,應該可以再調整一下參數

OpenPose_full

OpenPose full 檢測 openPose face 和 openPose hand 所做的一切。

範例圖像:

效果似乎比剛剛的更好一些!但手指的部分並不完美

dw_openpose_full

DWPose 是一種基於研究文章 Effective Whole-body Pose Estimation with Two-stage Distillation 的新姿態檢測演算法。它完成了與 OpenPose Full 相同的任務,但做得更好。您應該使用 dw_openpose_full 而不是 openpose_full。

DW OpenPose 在檢測手和手指方面做得更好。

Reference 模型

Reference 是一組預處理器,可用於生成與引用圖像類似的圖像,穩定擴散模型和提示仍將影響圖像。

Reference 預處理器不使用控制模型。您只需要選擇預處理器,而不需要選擇模型。(事實上,在選擇參考預處理器后,模型下拉功能表將被隱藏。)

有 3 個引用預處理器。

  1. Reference adain:透過自適應實例規範化進行樣式遷移。
  2. Reference only:將參考圖像直接連結到注意圖層。
  3. Reference adain+attn:上述組合。

選擇其中一個預處理器以使用。以下為範例:

Reference 圖像(圖片來源:https://stable-diffusion-art.com/controlnet/
Prompt:
a woman with pink hair and a robot suit on, with a sci – fi, Artgerm, cyberpunk style, cyberpunk art, retrofuturism

Reference adain

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference only

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference adain+attn

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference only 的效果感覺最好。

大家可以先去試玩看看這兩個模型唷~!

喜歡這篇文章嗎?

目錄

其他相關文章

學無止盡!再來看看其他教學文章吧!

OpenAI 的影片生成工具 Sora 正式開放給付費訂閱者使用,允許用戶生成高品質影片,適用於創意內容和專業需求,提供從基本解析度到專業級別的多樣選擇。Sora 的推出為 AI 生成影片市場注入了全新活力,讓用戶更輕鬆地實現視覺創意。
本文介紹了三款 APP 應用程式 UI 生成的 AI 工具,透過實際操作和比較生成結果,找到適合自己的工具,這對於設計師和開發人員尋找提高工作流程效率的新工具特別有用。
根據《財富》和《矽谷共和國》報道,2024 年11 月26 日,一群對OpenAI 的Sora 影片 AI 模型進行 Beta 測試的藝術家透過Hugging Face 洩露了對系統的訪問權限,暴露了AI 開發人員和創意專業人士在補償和控制問題上的緊張關係。