Stable Diffusion 3.5 공개

Stable Diffusion 3.5가 출시 되었습니다. 이전 버전인 Stable Diffusion 3 Medium이 생각보다 시장 반응이 좋지 않았지만 해당 모델을 개선하기 보다는 새 버전을 출시하기로 하였다고 합니다. 이 과감한 결정이 좋은 선택이 될 수 있을까요?

 

Stable Diffusion 3.5 Large, Stable Diffusion 3.5 Large Turbo가 공개 되었으며 앞으로 Stable Diffusion 3.5 Medium이 출시될 예정 (2024년 10월 29일)이라고 합니다. Stable Diffusion 3.5 Large는 80억개 이상의 파라미터를 가진 기본 모델로 이후 버전들은 더욱 발전된 성능을 가지고 있습니다. 또한 개인 컴퓨터에서 사용할 수 있도록 최적화도 진행 되었다고 합니다.

 

현재 많은 이미지 생성 AI들이 서비스 되고 있습니다. 과연 초기 선두 주자였던 Stable Diffusion이 그 명성을 다시 한 번 온라인에 떨칠 수 있는지 확인해 보시는 것도 좋은 시간이 될 것 같습니다.

 

출처: Stable Diffusion 3.5 — Stability AI

Stable Diffusion 3.5 — Stability AI

 

주요 내용:

• 오늘 Stable Diffusion 3.5를 소개합니다. 이 오픈 릴리스에 Stable Diffusion 3.5 Large 및 Stable Diffusion 3.5 Large Turbo를 포함한 여러 모델 타입들이 포함됩니다. 또한 Stable Diffusion 3.5 Medium은 10월 29일에 출시됩니다.
  
  
• 이러한 모델은 크기에 맞게 사용자 정의가 가능하고, 소비자 하드웨어에서 실행되며, 허용 가능한 Stability AI Community License에 따라 상업적 및 비상업적 사용 모두에 대해 무료입니다.
  
  
• Hugging Face에서 Stable Diffusion 3.5 Large 및 Stable Diffusion 3.5 Large Turbo를 다운로드하고 GitHub에서 추론 코드를 지금 다운로드할 수 있습니다.

 

Prompt: ~*~aesthetic~*~ #boho #fashion, full-body 30-something woman laying on microfloral grass, candid pose, overlay reads Stable Diffusion 3.5, Cheerful cursive typography font.

 

오늘 저희는 지금까지 가장 강력한 모델인 Stable Diffusion 3.5를 출시합니다. 이 오픈 릴리스에는 사용자 정의가 가능하고, 소비자 하드웨어에서 실행되며, 허용 가능한 Stability AI Community License에 따라 사용할 수 있는 여러 타입이 포함됩니다. Hugging Face에서 Stable Diffusion 3.5 Large 및 Stable Diffusion 3.5 Large Turbo 모델을 다운로드하고, GitHub에서 추론 코드를 지금 다운로드할 수 있습니다.

6월에 저희는 Stable Diffusion 3 시리즈의 첫 번째 오픈 릴리스인 Stable Diffusion 3 Medium을 출시했습니다. 이 릴리스는 저희의 기준이나 커뮤니티의 기대에 충분히 부응하지 못했습니다. 귀중한 커뮤니티 피드백을 듣고, 빠른 해결책 대신 저희는 시각 미디어를 혁신하려는 저희의 사명을 발전시키는 버전을 추가로 개발하는 데 시간을 들였습니다.

Stable Diffusion 3.5는 빌더와 크리에이터에게 널리 접근 가능하고 최첨단이며 대부분의 사용 사례에서 무료인 도구를 제공하려는 저희의 헌신을 반영합니다. 우리는 미세 조정, LoRA, 최적화, 애플리케이션, 아트워크 등 전체 파이프라인에서 작업의 배포와 수익화를 장려합니다.

 

무엇이 출시되고 있나요?

Stable Diffusion 3.5는 과학 연구자, 취미인, 스타트업, 기업 모두의 요구를 충족하도록 개발된 다양한 모델을 제공합니다.

• Stable Diffusion 3.5 Large: 80억 개의 매개변수와 뛰어난 품질, 프롬프트 준수를 제공하는 이 기본 모델은 Stable Diffusion 제품군에서 가장 강력합니다. 이 모델은 1 메가픽셀 해상도에서 전문적인 사용 사례에 이상적입니다.
  
  
• Stable Diffusion 3.5 Large Turbo: Stable Diffusion 3.5 Large의 정제된 버전은 단 4단계로 뛰어난 프롬프트 준수를 제공하는 고품질 이미지를 생성하여 Stable Diffusion 3.5 Large 보다 상당히 빠릅니다.
  
  
• Stable Diffusion 3.5 Medium(10월 29일 출시): 25억 개의 매개변수와 개선된 MMDiT-X 아키텍처 및 학습 방법을 제공하는 이 모델은 소비자 하드웨어에서 "바로 사용 가능"하도록 설계되어 품질과 사용자 정의의 용이성 간의 균형을 맞추었습니다. 0.25~2 메가픽셀 해상도의 이미지를 생성할 수 있습니다.

 

모델 개발

모델을 개발할 때, 우리는 유연한 기반을 제공하기 위해 사용자 정의 가능성을 우선시했습니다. 이를 달성하기 위해, 우리는 Query-Key Normalization를 트랜스포머 블록에 통합하여 모델 학습 프로세스를 안정화하고 추가적인 미세 조정 및 개발을 간소화했습니다.

이러한 수준의 다운스트림 유연성을 지원하기 위해, 우리는 몇 가지 균형을 맞춰야 했습니다. 다른 시드를 가진 동일한 프롬프트에서 출력의 차이가 더 커질 수 있는데, 이는 기본 모델에서 더 광범위한 지식 기반과 다양한 스타일을 유지하는 데 도움이 되기 때문에 의도적인 것입니다. 그러나 결과적으로 구체성이 부족한 프롬프트는 출력의 불확실성을 증가시킬 수 있으며, 미적 수준이 다를 수 있습니다.

특히 Medium 모델의 경우, 우리는 품질, 일관성 및 다중 해상도 생성 기능을 향상시키기 위해 아키텍처와 학습 프로토콜을 여러 번 조정했습니다.

 

모델이 탁월한 성능을 보이는 분야

Stable Diffusion 3.5 버전은 다음 분야에서 탁월한 성과를 거두며, 프롬프트 준수와 이미지 품질에서 최고 수준의 성능을 유지하는 동시에 시장에서 가장 사용자 정의가 가능하고 접근성이 뛰어난 이미지 모델 중 하나입니다.

• 사용자 정의: 특정 창의적 요구 사항을 충족하도록 모델을 쉽게 미세 조정하거나 사용자 정의 워크플로에 따라 애플리케이션을 빌드합니다.
  
  
• 효율적인 성능: 특히 Stable Diffusion 3.5 Medium 및 Stable Diffusion 3.5 Large Turbo 모델과 같이 많은 요구 사항 없이 표준 소비자 하드웨어에서 실행되도록 최적화되었습니다.
  
  
• 다양한 출력: 광범위한 프롬프트가 필요 없이 다양한 피부 톤과 특징을 가진 한 유형의 사람이 아닌 세계를 대표하는 이미지를 만듭니다.

 

• 다양한 스타일: 3D, 사진, 그림, 선화 등 상상할 수 있는 모든 시각적 스타일을 포함해 광범위한 스타일과 미학을 구현할 수 있습니다.

 

또한, 저희 분석에 따르면 Stable Diffusion 3.5 Large는 프롬프트 준수에서 시장을 선도하고 이미지 품질에서 훨씬 더 큰 모델과 경쟁합니다.

Stable Diffusion 3.5 Large Turbo는 크기에 비해 가장 빠른 추론 시간을 제공하는 동시에, 비슷한 크기의 비정제 모델과 비교했을 때에도 이미지 품질과 프롬프트 준수에서 높은 경쟁력을 유지합니다.

Stable Diffusion 3.5 Medium은 다른 중간 크기 모델보다 성능이 뛰어나 프롬프트 준수와 이미지 품질의 균형을 제공하여 효율적이고 고품질의 성능을 위한 최고의 선택이 됩니다.

 

 

Stability AI Community 라이선스를 한눈에 살펴보세요

우리는 관대한 community license에 따라 이 모델을 출시하게 되어 기쁩니다. 라이선스의 핵심 구성 요소는 다음과 같습니다.

• 비상업적 사용 시 무료: 개인 및 조직은 과학 연구를 포함하여 비상업적 사용 시 무료로 모델을 사용할 수 있습니다.
  
  
• 상업적 사용 시 무료 (연간 수익 최대 100만 달러): 신생 기업, 중소기업 및 창작자는 총 연간 수익이 100만 달러 미만인 한 상업적 목적으로 무료로 모델을 사용할 수 있습니다.
  
  
• 출력 소유권: 제한적인 라이선스 의미 없이 생성된 미디어의 소유권을 유지합니다.

연간 수익이 100만 달러가 넘는 조직의 경우 Enterprise License에 대해 문의하려면 여기를 클릭하세요.

 

모델에 액세스하는 더 많은 방법

모델 가중치는 현재 Hugging Face에서 셀프 호스팅을 위해 제공되지만, 다음 플랫폼을 통해서도 모델에 액세스할 수 있습니다.

• Stability AI API 
  
  
• Replicate
  
  
• ComfyUI
  
  
• DeepInfra

 

안전에 대한 우리의 헌신

우리는 안전하고 책임감 있는 AI 관행을 믿고, 개발 초기 단계에서 무결성이 시작되도록 의도적인 조치를 취합니다. 즉, 우리는 악의적인 행위자가 Stable Diffusion 3.5를 오용하는 것을 방지하기 위해 합리적인 조치를 취했고 계속 취하고 있습니다. 안전에 대한 접근 방식에 대한 자세한 내용은 Stable Safety 페이지를 방문하세요.

 

곧 출시 예정

10월 29일에 Stable Diffusion 3.5 Medium을 공개 출시합니다. 얼마 지나지 않아 ControlNets도 출시되어 다양한 전문적 사용 사례에 대한 고급 제어 기능을 제공합니다.

Stable Diffusion 3.5에 대한 피드백을 듣고 모델을 사용하여 무엇을 만들어내는지 보고 싶습니다. 이 양식을 통해 생각을 직접 공유할 수 있습니다.

진행 상황을 계속 확인하려면 X, LinkedIn, Instagram에서 팔로우하고 Discord Community에 가입하세요.