Stable Diffusion 是一种基于深度学习的文本到图像模型，于 2022 年发布，基于扩散技术。 简而言之，Stable Diffusion 是一种文本到图像模型。给它一个文本提示，它将返回与文本匹配的 AI 图像。 这种生成式人工智能技术能够根据文本描述创建逼真的图像，标志着人类艺术创作方式的转变。
Stable Diffusion 的发布是这一发展中的一个明显里程碑，因为它为大众提供了一个高性能模型（图像质量、速度以及相对较低的资源/内存要求方面的性能）。 Stable Diffusion 基于一种称为潜在扩散模型的特定类型的扩散模型，该模型在“具有潜在扩散模型的高分辨率图像合成”中提出，由 CompVis、LMU 和 RunwayML 的研究人员和工程师创建。 该模型最初使用 LAION-5B 数据库的子集中的 512×512 图像进行训练。
Stable Diffusion 的多功能性使其可以通过多种不同方式使用。它不仅可以根据文本生成图像 (text2img)，还可以通过修改图像来使用（因此输入是文本 + 图像）。 Stable Diffusion 是一个由多个组件和模型组成的系统，它不是一个单一的模型。
以下是 Stable Diffusion 的主要组成部分：
- 文本编码器（例如 CLIPText）： 负责将文本提示转换为数字表示，捕捉文本中的概念和语义信息。
- 图像生成器： 包括两个主要组件：
- 图像信息创建器（UNet + 调度器）： 这是 Stable Diffusion 的核心，它在信息空间（或潜在空间）中逐步处理信息，生成图像信息数组。
- 图像解码器： 接收来自图像信息创建器的信息数组，并将其转换为最终的像素图像。
Stable Diffusion 的工作原理可以概括为以下步骤：
- 文本编码： 文本提示被输入到文本编码器，将其转换为代表文本语义的数字向量。
- 信息扩散： 图像信息创建器接收文本向量和一个随机的噪声数组。在多个步骤中，它逐步减少噪声，并将文本信息融入到图像信息中。
- 图像解码： 最终，图像解码器将处理后的图像信息数组转换为最终的像素图像。
Stable Diffusion 3 Medium
Stable Diffusion 3 Medium 是 Stability AI 最新发布的 Stable Diffusion 系列中的一个版本，相比于之前的版本，它在图像质量、对复杂提示的理解、处理图像中的文本以及资源利用效率方面都有显著提升。
以下是 Stable Diffusion 3 Medium 的一些关键特点:
- 多模态扩散 Transformer (MMDiT): Stable Diffusion 3 Medium 采用 MMDiT 架构，这是一种先进的文本到图像生成模型。
- 高质量图像生成: 相比于之前的版本，Stable Diffusion 3 Medium 可以生成更逼真、更精细的图像。
- 理解复杂提示: Stable Diffusion 3 Medium 能够更好地理解用户输入的文本提示，即使是包含多个对象、复杂场景或抽象概念的提示。
- 高效的资源利用: Stable Diffusion 3 Medium 在保持高质量图像生成的同时，对计算资源的要求更低，使得更多用户能够在个人电脑或云平台上使用它。
Hugging Face 上的模型:
Stable Diffusion 3 Medium 的模型权重可以在 Hugging Face 平台上下载和使用（https://huggingface.co/stabilityai/stable-diffusion-3-medium）。 Hugging Face 提供了简单易用的 API 和工具，可以方便地加载、微调和使用 Stable Diffusion 3 Medium 模型。
应用场景:
Stable Diffusion 3 Medium 可以用于各种文本到图像生成应用场景，例如:
- 艺术创作: 艺术家可以使用它来探索新的创意，生成独特的艺术作品。
- 设计: 设计师可以使用它来快速生成产品原型、概念图等。
- 游戏开发: 游戏开发者可以使用它来创建游戏角色、场景等。
- 教育: 教育工作者可以使用它来创建生动形象的教学素材。
总而言之，Stable Diffusion 3 Medium 是一款功能强大、易于使用的文本到图像生成模型，它为用户提供了创作高质量图像的便捷工具，并在多个领域拥有广泛的应用前景。
