본문 바로가기

프로그래밍/AI

스테이블 디퓨전 초기 설정[VAE, Controlnet]



 

이전에 설치 방법을 다뤘고

 

스테이블 디퓨전 간단 설치[왕초보도 가능]

오늘은 스테이블 디퓨전을 간단하게 설치하는 방법을 소개해 드리고자 합니다  GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UIStable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui de

baessi.tistory.com

 

 

 이후 설정 방법 입니다.

1. 모델 다운로드

아래의 링크 접속

 

Civitai: The Home of Open-Source Generative AI

Explore thousands of high-quality Stable Diffusion & Flux models, share your AI-generated art, and engage with a vibrant community of creators

civitai.com

 

 

원하는 모델 다운

 

 

2. VAE 다운로드

 

vae-ft-mse-840000-ema-pruned.ckpt · stabilityai/sd-vae-ft-mse-original at main

Detected Pickle imports (4) "torch.IntStorage", "torch.FloatStorage", "collections.OrderedDict", "torch._utils._rebuild_tensor_v2" What is a pickle import?

huggingface.co

 

 

접속한 다운로드 사이트에서 vae-ft-mse-840000-ema-pruned.ckpt 파일을 다운로드 버튼 선택하여 다운

 

 

 

stable-diffusion-webui\models\VAE 폴더에 저장

 

3. ControlNet 다운

 

스테이블 디퓨전에서 해당 링크 입력 후 Install

https://github.com/Mikubill/sd-webui-controlnet

 

 

Installed에 설치가 되었는지 확인, 안되었음 Apply and restart UI를 클릭

 

 

 

ControlNet을 사용하려면, 위에서 설명한 전처리기(preprocessor)외에도 이를 처리할 수 있는 모델이 별도로 필요합니다.

 

아래의 링크 클릭

 

lllyasviel/ControlNet-v1-1 at main

Detected Pickle imports (3) "collections.OrderedDict", "torch._utils._rebuild_tensor_v2", "torch.FloatStorage" What is a pickle import?

huggingface.co

 

해당 파일을 다운받습니다.

 

아래의 경로에 파일을 넣습니다. 이 두가지 폴더 중 어디에 넣어도 되지만,

위에부터 넣고 안되면 아래에 넣어주시면 됩니다.

stable-diffusion-webui/models/ControlNet
stable-diffusion-webui/extensions/sd-webui-controlnet/models

 

 

그리고 디퓨전을 보시면 Controlnet 사용이 가능하면 설치가 끝

 

4. Stable Diffusion에 SD VAE 메뉴 보이게 하기

 

스테이블 디퓨전 Settings - User interface

 

 

해당 부분에 두 항목을 추가

 

CLIP_stop_at_last-layers
sd_vae

 

Apply settings 클릭

 

화면이 깨지니 Reload UI 클릭

 

하면 설정은 모두 완료입니다!

 

간단한 예제를 가지고 테스트를 진행해보시기 바랍니다.