如何在 Tensor.Art 使用 ControlNet 功能?色塊相關模型

本文介紹了在 Tensor.Art 平台上如何使用 ControlNet 的色塊相關模型來進行圖像處理和生成。這些模型能夠有效地分割和識別圖像中的不同區域,生成各種風格的色塊圖像,提升創作效率和圖像質量。無論是圖像分割、色塊風格的藝術創作,還是顏色標記,這些工具都能滿足不同的創意需求。

還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!

Tensor Art:https://tensor.art/

什麼是ControlNet?

在 Tensor.Art 模型的地方可以添加 ControlNet

Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。

ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:

  1. 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
  2. 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
  3. 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。

這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。

總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。

在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天將介紹色塊相關的模型,包括:Depth、Segmentation 模型!

Depth 模型

Depth 模型的優點在於其能夠捕捉圖像中物體的深度資訊,使圖片呈現出更強的立體感,而不僅僅是平面的圖像。相比之下,ControlNet 中還有其他類似的模型,例如 Normal 模型專注於生成法向量圖像,Openpose 模型則擅長生成和識別人體姿勢圖像。然而,Depth 模型更專注於提取和保留圖像的深度資訊,而較少關注細節和紋理的處理。

  • Depth Midas:經典的深度估計器。也用於官方 v2 圖像深度模型。
  • Depth Leres:更多細節,但也傾向於渲染背景。
  • Depth Leres++:更多細節。
  • Depth Zoe:細節水準介於Midas和Leres之間。

Depth Midas

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

Depth Leres

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

Depth Leres++

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

Depth Zoe

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

可以比較上面的各個模型,選擇最適合的去使用!

Segmentation

Segmentation 模型是 ControlNet 中的一種模型,主要用於對圖像進行分割,即標記和區分圖像中的不同區域。它能夠有效地將圖像中的各個物體或區域分開,從而方便後續的處理和應用。使用 Segmentation 模型時,需要根據不同需求選擇適當的參數設置以達到理想效果。與 ControlNet 中的其他模型相比,Segmentation 模型更專注於圖像中物體或區域的分割和識別,而較少關注細節和紋理的處理。

建築物、天空、樹木、人物和人行道都標有不同的預定義顏色。(可以在下方的範例中查看)

您可以在 ufade20k 和 ofade20k 的顏色映射表中找到物件類別和顏色。

有幾個細分選項:

  • ufade20k:在 ADE20K 數據集上訓練的 UniFormer (uf) 分割。
  • ofade20k:在 ADE20k 數據集上訓練的 OneFormer (of) 分割。
  • ofcoco:在 COCO 數據集上訓練的 OnFormer 分割。

ufade20k

範例圖像:

Burrata Pastels Mix – 1.0模型+Prompt: Futuristic city, tree, buildings, cyberpunk

ofade20k

範例圖像:

Burrata Pastels Mix – 1.0模型+Prompt: Futuristic city, tree, buildings, cyberpunk

ofcoco

範例圖像:

Burrata Pastels Mix – 1.0模型+Prompt: Futuristic city, tree, buildings, cyberpunk

分割是一種強大的技術。您可以進一步操作分割貼圖,將物件放置在精確的位置。使用 ADE20k 的顏色映射表。

總結來說,ControlNet 提供了一系列功能強大的色塊相關模型,這些模型能夠在不同的圖像處理和生成場景中發揮重要作用。在 Tensor.Art 平台上使用 ControlNet 功能,您可以輕鬆應用這些模型來生成和編輯各種風格的色塊圖像。無論是進行圖像分割、生成色塊風格的藝術作品,還是進行顏色標記和區域識別,這些模型都能夠滿足您的需求,提升創作效率和圖像質量。通過充分利用 ControlNet 的色塊相關功能,您可以實現更豐富的創意表達,創作出更具視覺衝擊力的作品。

喜歡這篇文章嗎?

目錄

其他相關文章

學無止盡!再來看看其他教學文章吧!

OpenAI 的影片生成工具 Sora 正式開放給付費訂閱者使用,允許用戶生成高品質影片,適用於創意內容和專業需求,提供從基本解析度到專業級別的多樣選擇。Sora 的推出為 AI 生成影片市場注入了全新活力,讓用戶更輕鬆地實現視覺創意。
本文介紹了三款 APP 應用程式 UI 生成的 AI 工具,透過實際操作和比較生成結果,找到適合自己的工具,這對於設計師和開發人員尋找提高工作流程效率的新工具特別有用。
根據《財富》和《矽谷共和國》報道,2024 年11 月26 日,一群對OpenAI 的Sora 影片 AI 模型進行 Beta 測試的藝術家透過Hugging Face 洩露了對系統的訪問權限,暴露了AI 開發人員和創意專業人士在補償和控制問題上的緊張關係。