Stable Diffusion XL 이란? 사용법이나 이전 모델과의 차이

 

 

안녕하세요. 코딩산책입니다.

Stable Diffusion XL은 Stability AI 사가 개발한 Stable Diffusion의 최신 모델로 SDXL로 약칭됩니다. 2023년 7월에 정식판 SDXL1.0, 그 후, 11월에는 SDXL Turbo가 발표되었습니다. 이 포스트에서는 Stable Diffusion XL의 세부 사항과 사용법을 소개합니다.

 

Stable Diffusion XL 이란?

Stable Diffusion XL(SDXL)은 Stability AI사에 의해 개발되어 오픈 소스화된 이미지 생성 AI의 최신 모델(2024년 4월 시점)입니다. 이전 모델보다 정밀도가 높고 다양한 스타일의 이미지를 생성할 수 있습니다.

Stable Diffusion XL 과 이전 모델의 차이

Stable Diffusion XL의 특징은 크게 3가지가 있습니다.

• 파라미터 수가 2배 이상으로 크게 확대
• 기본 이미지 생성 크기 확대
• 다양한 스타일의 이미지 생성 가능

Stable Diffusion의 디폴트로 들어 있는 모델보다 상위 호환이기 때문에, 도입하는 이점이 있습니다. 그러나, 권장되는 메모리는 16GB 이상, GPU 메모리(VRAM)가 12GB 이상이므로, 사용 PC에 여유가 있는지 확인하고 나서 도입해 봅시다.

파라미터 수가 2배 이상으로 크게 확대

Stable Diffusion XL 1.0에서는 기존 버전에 비해 파라미터 수가 2배 이상 확대되었습니다. 이 모델은 2개로 구성되어 있어 첫 번째는 3.5B(35억)의 파라미터를 가지는 기본 모델 , 2번째는 6.6B(66억) 파라미터를 가지는 Refinement(정밀화) 모델 입니다. Stable Diffusion XL은, 지금까지의 구조와 크게 달라, 1회의 이미지 생성으로, 우선은 기본 모델이 이미지의 초안을 생성 후 Refinement(정밀화) 모델이 이미지를 깨끗하게 보완합니다. 이렇게 두 번의 생성과정을 거쳐 Stable Diffusion XL의 묘사력이 비약적으로 향상되었습니다.

기본 이미지 생성 크기 확대

Stable Diffsuion에서 생성되는 이미지의 해상도는 512×512가 최대 사이즈였지만, SDXL 1.0에서는 최대 1,024×1,024의 사이즈 출력이 가능하게 되었습니다. 그에 따라 콘트라스트나 조명, 그림자의 투영이 개선되어 고해상도에서도 선명한 묘사가 가능해졌습니다.

다양한 스타일의 이미지 생성 가능

Stable Diffusion XL을 사용하면 복잡한 프롬프트를 조합하지 않고도 간단한 프롬프트로 고품질 이미지를 생성할 수 있습니다. 게다가 구도가 크게 개선되어 생성할 수 있는 이미지의 패턴이 증가했습니다. 자세한 내용은 아래의 기술 보고서를 참조하세요.

Announcing SDXL 1.0 — Stability AI

 

Stable Diffusion XL 의 추천 모델

Stable Diffusion XL 자체는 베이스 모델이 되어, 이 모델로부터 파생한 수많은 모델이 공개되어 오고 있습니다. 그 중에서 각 스타일에 특화된 추천 모델을 3개 정도 소개합니다.

Juggernaut XL

Juggernaut XL은 사진과 같은 현실적인 이미지 생성에 특화된 모델입니다. 사람이나 동물뿐만 아니라 풍경 등도 재현이 가능합니다.

prompt

score_10,score_9, score_8_up, score_7_up, masterpiece, very wide shot, highly detailed, chiascuro, hyperdetailed, concept art, (realistic:1.6),very aesthetic, best quality, detailed, high resolution, photorrealistic, top-quality, beautiful cozy, ray tracing, intricate details, dramatic light, vignette, cinemascope, (masterpiece),(highest quality),highres,(an extremely delicate and beautiful),(extremely detailed),High color saturation,blue haze,bokeh,shallow depth of field, Volumetric Light,Crepuscular Ray bunny, hairy,

negative prompt

(bad hands),(cropped),(deformed|distorted|disfigured:1.21),(extra digit:1.4),(low quality:1.5),(mutated hands AND fingers:1.21),(normal quality:1.5),(worst quality:1.2),3d,Yaeba,amputation,artist name,bad anatomy,bad artist,bad fingers,bad hands,black and white,blurry,broken sky,conjoined fingers,cropped,deformed,deformed fingers,deformed hands,disfigured,error,extra limb,fewer digits,floating limbs,imperfect eyes,implausible architecture,incoherent architecture,jpeg artifacts,long body,long neck,loss of a limb,low contrast,lowres,missing fingers,missing limb,missing limbs,multiple eyebrow,mutated,mutation,outlines,painting by bad-artist layman work,photo,physics defying,poorly drawn,realism,score_4,score_5,signature,skewed eyes,source_cartoon,source_pony,text,ugly,ugly eyes,unnatural body,unnatural face,username,watermark,watermarks,worst quality,wrong anatomy,(worst quality:1.5),2d,anime,bad anatomy,cartoon,illustration,low detail,low quality,paint,pixar,score_6,source_furry,worst detail,worst quality, low quality, extra limbs, deformed, bad anatomy, bad eyes, bad hands, mutilated fingers, deformed pupils, jpeg artifacts,(worst quality, low quality, normal quality, lowres, low details, grayscale, bw), painting, drawing, sketch, cartoon, anime, manga, render, CG, 3d, watermark, signature, label, long neck,photo, deformed, realism, disfigured, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,easynegative, makeup, flag, bad hands, bad eyes, bad fingers, deformed hands, extra fingers, child, minor,low resolution, blurry, terrible, FastNegativeV2, cropped, low res, worst quality, low quality, normal quality, jpeg artifacts, extra digit, fewer digits, trademark, watermark, artist's name, username, signature, text, words, (two heads), (too many lights), lantern,

Juggernaut XL - Jugg_XI_by_RunDiffusion | Stable Diffusion XL Checkpoint | Civitai

AAM XL (Anime Mix)

AAM XL은 일본 애니메이션의 이미지에 가까운 일러스트를 자랑하는 모델로 인물의 세세한 묘사 이외에도 로봇 등을 생성할 수 있습니다.

prompt

masterpiece, best quality, intricate detail, halloween party, many cute monsters around,1girl dancing at park, girly, (outdoor, haunted house, night), spotlights, light particles, glow,looking at viewer, purple dress, delicate patterns, aura,orange hair, animal ears, bangs, full body,happy, smile, enjoy, blush, shame, open mouth, turn up eyes,(masterpiece, best quality, intricate detail, beautiful artwork),

negative prompt

civit_nsfw, (worst quality, low quality, normal quality), (grayscale, blurry), (adult, old, aged), comic, painting, text, signature,

AAM XL (Anime Mix) - v1.0 | Stable Diffusion XL Checkpoint | Civitai

SDXL 1.0 ArienMixXL Asian portrait

ArienMixXL Asian portrait는 중국의 chatglm.cn의 이미지와 자연어를 사용해 이미지에 대한 설명으로 더 좋은 초상화 사진을 생성할 수 있습니다.

prompt

The image portrays a young woman with a delicate and ethereal appearance. She dons a white knitted sweater that gives off a warm and cozy vibe. Her complexion is impeccably fair, complemented by striking makeup featuring rosy blush on her cheeks and glossy lips. A pair of captivating earrings adorns one ear, adding an element of sophistication. With long, dark hair cascading down her shoulders, she gently holds strands with both hands, giving a sense of contemplation or introspection. Overall, the image exudes a serene and enchanting ambiance.

neagtive prompt

cgi, illustration, cartoon, deformed, distorted, disfigured, poorly drawn, bad anatomy, wrong anatomy,ugly, deformed, blurry,Noisy,log,text,watermark

SDXL 1.0 ArienMixXL Asian portrait 亚洲人像 - v4.5-pruned | Stable Diffusion XL Checkpoint | Civitai

 

Stable Diffusion XL 사용법

로컬에 설치된 Stable Diffusion Web UI (AUTOMATIC1111)에서의 Stable Diffusion XL의 사용법은, 아래의 스텝과 같습니다. 설치 방법은 이전 포스트에서 확인이 가능합니다.

[AUTOMATIC1111] Windows에 설치하는 방법

stable-diffusion-xl-base-1.0 페이지에서 Base 모델, Refiner 모델 및 VAE의 세 파일 을 다운로드합니다.

 

Base 모델의 파일은 여기에서 다운로드 합니다. 다운로드한 파일은 stable-diffusion-webui > models > Stable-diffusion에 복사합니다.

Refiner 모델은 여기에서 다운로드 합니다. 다운로드한 파일은 stable-diffusion-webui > models > Stable-diffusion에 복사합니다.

VAE 파일은 여기에서 다운로드 합니다. 다운로드한 파일은 stable-diffusion-webui > models > VAE에 복사합니다.

모델을 적용하려면 Stable Diffusion Web UI 왼쪽 상단의 탭에서 전환합니다.

VAE 파일은 사용하는 모델에 따라 전환이 필요하므로 자동으로 해두는 것이 좋습니다.

메인 페이지에 SD VAE 항목이 보이지 않는다면 Settings 탭에서 User Interface 항목을 살펴보면 Quicksettings list 가 있으며, 콤보박스를 클릭하면 검색이 가능하므로 "sd_vae"를 작성하여 클릭한다. 그러고나서 Apply settings를 누르고 Reload UI를 누르면 메인 페이지에 SD VAE 항목이 나타난다.

 

해당 포스트가 유용하셨다면 하단의 좋아요와 구독하기 부탁드립니다. ^^

Buy me a coffee

[Codingwalks]에게 송금하기 - AQR