深入了解2026年Stable Diffusion 3的潜力：本地运行SD3及API调用完整指南

Last updated: June 28, 2026

本周我用 Stable Diffusion 3 和 SDXL 对相同的 40 个提示词集进行了测试，真正取得进展的地方是：图像中的简短文字渲染清晰可读的频率增加了大约两倍，并且包含三个或四个主体（subject）的提示词不再融合成一个融化的形象。SD3 是 Stability AI 当前的 open-weights text-to-image 系列模型，而 3.5 Large 和 Large Turbo 变体是您在 2026 年应该选择的模型。

快速答案：什么是 Stable Diffusion 3？是否应该切换？

Stable Diffusion 3 是 Stability AI 基于 MMDiT（Multimodal Diffusion Transformer）骨干网络构建的 text-to-image 模型，而不是 SDXL 和 SD 1.5 使用的 U-Net。当前的发布版本是 3.5 Large checkpoint 和蒸馏后的 3.5 Large Turbo，两者都可以在 Stability 的社区或商业许可下下载。您可以通过 ComfyUI 或 Diffusers 在本地运行它们，或者通过 Stability API 调用它们。

如果您需要清晰可读的文字、更严格的提示词遵循度或多主体场景，那么应该切换到 SD3。如果您需要最广泛的 fine-tune 生态系统、最低 VRAM 门槛或经过验证的 ControlNet 堆栈，则继续使用 SDXL。Stability 的公告概述了模型系列，而 官方 SD3 介绍 则详细介绍了发布历史。

MMDiT 架构发生了哪些变化？

主要的技术转变在于骨干网络（backbone）。旧的 Stable Diffusion 模型使用卷积 U-Net 来处理图像，将其视为像素网格。SD3 用一个同时关注图像 token 和文本 token 的 transformer 取代了它，这就是提示词遵循度和文字拼写改进的原因。

简单来说：旧模型分别查看图片和标题，然后试图将它们粘合在一起。SD3 在一次处理中读取了两者，因此“一个写着 STOP 的红色标志”有真实的概率拼出 STOP。代价是尺寸和速度——除非使用 Turbo 蒸馏技术，否则 MMDiT 需要更多的内存和更多步骤。

如何在本地运行 SD3？

我使用 ComfyUI 和 Diffusers Python 库在一个单块 24 GB GPU 上测试了本地生成。SD3.5 Large 可以运行，但比较紧张；而 SD3.5 Large Turbo 对家用机器来说是更友好的选择，因为它大约只需要四个步骤就能运行。

• 安装 ComfyUI 并从管理器拉取官方的 SD3.5 工作流。
• 从 stabilityai HuggingFace org 下载权重并首先接受许可协议。
• 选择 Large Turbo 以获得速度（约 4 个步骤），或选择 Large 以获得质量（28 到 30 个步骤）。
• 对于 Large，至少保留 16 GB 的 VRAM；对于使用 fp8 的 Turbo，8 GB 是可行的。
• 根据 checkpoint 匹配精度：Large 使用 fp16，低 VRAM 的 Turbo 使用 fp8。

使用 Diffusers 的实际工作流：加载 StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large")，将其移动到 CUDA，设置 guidance 约为 Large 的 4.0 或 Turbo 的 1.0，然后运行。我用这种方式生成了一个包含 50 张图片的测试网格，Large 平均每张图片在 1024x1024 分辨率下需要大约 12 秒；Turbo 则将这个时间降低到 3 秒以下，但代价是精细细节的损失。

如何通过 Stability API 调用 SD3？

如果您不想管理权重和 VRAM，Stability REST API 将 SD3 和 3.5 作为端点暴露出来。您 POST 一个 prompt、一个宽高比和一个 seed，然后接收回 PNGs。定价是按生成次数计算的，会计到您的账户信用额度。

典型的请求需要 prompt、negative_prompt、aspect_ratio、seed 和 output_format。当您进行 A/B 测试提示词编辑时，请保持 seed 不变，这样唯一的变量就是您的措辞。对于处理模型管道的托管路径，我们的 text-to-image AI 教程展示了跨提供商相同的思路。

当您从一次性图片转向产品化时，API 在可靠性和扩展性方面优于本地推理，即使每张图片的成本高于在自己拥有的设备上自托管。

如何提示 SD3：什么有效，什么无效？

SD3 更青睐自然语言的提示词，而不是 SD 1.5 教导我们的逗号分隔标签列表。请用句子描述场景，然后添加约束条件。

• 用一个简单的句子开头描述主体。
• 说明媒介：编辑照片、3D 渲染、墨水画等。
• 仅在光线和相机角度改变结果时才进行指定。
• 引用您希望渲染的文字，例如写着“OPEN”的标志。
• 保持 negative prompts 简短；SD3 比负面提示词更依赖其训练数据。
• 在迭代时保持相同的 seed，这样只有您的编辑内容会变化。

对我有效的具体提示词是：an editorial product photo of a matte black kettle on a concrete ledge, soft window light, shallow depth of field, a small label that reads "BREW" — guidance 4.0。水壶看起来很对，“BREW”也正确拼写了，这是 SDXL 几乎从未为我做到的。对于可跨模型传输的更广泛提示逻辑，请参阅我们的 AI Art Generator 概述。

SD3 与 SDXL 和 SD 1.5 如何比较？

每个模型仍然有其用武之地。根据使用场景而非新奇度进行选择，才能保持输出质量高。

我针对一个文字密集的海报提示词进行了正面交锋测试，只有 SD3.5 Large 在超过一半的情况下正确拼写了标题。SDXL 仍然在风格化的 LoRAs 和快速迭代方面占优，而 SD 1.5 仍是轻量级 ControlNet 管道之王。对于闭源替代方案，我们的 Midjourney v7 guide 和 Adobe Firefly 分析涵盖了托管端的内容。

许可和哪些内容可以合法发布？

SD3.5 在 Stability 的社区许可下用于低收入用途，并在超过定义的收入门槛时需要商业协议。请阅读模型卡上的实际条款——对于自由职业者和小工作室来说，门槛和“组织”的定义都很重要。

• 在收入上限以下，您可以在社区许可下将输出用于商业目的。
• 超过上限后，与 Stability 协商企业级或商业许可。
• 不要重新分发原始权重；分享衍生品，而不是模型文件。
• 记录生成每个已发布资产的 checkpoint，以供您自己存档。
• 在向客户交付前再次检查条款，因为许可在 SD3 和 3.5 之间发生了变化。

这是与真正宽松的模型相比的实际权衡。如果许可的简单性比 MMDiT 的提升更重要，那么在投入整个管道之前需要仔细权衡这一点。对于从现有照片开始使用，我们的 AI Art Generator From Photo 指南将许可问题始终放在焦点上。

总结

SD3 和 3.5 是用于文字渲染和多主体提示词遵循度的最强大的 open Stable Diffusion 模型，而 SD3.5 Large Turbo 是速度方面的实用本地选择。您可以在 ComfyUI 或 Diffusers 中运行它们以控制自托管成本，或者当可靠性比每张图片的价格更重要时调用 Stability API。诚实的警告是：VRAM 和许可都是难点——Large 需要大约 16 GB，社区许可有收入上限，而且 fine-tune 和 ControlNet 生态系统仍落后于 SDXL，因此在您没有端到端测试您的特定提示词之前，不要放弃一个可用的 SDXL 管道。

常见问题解答

Stable Diffusion 3 与 SDXL 有什么不同？

SD3 使用了 Multimodal Diffusion Transformer (MMDiT) 架构，它同时处理文本和图像 token，因此渲染的图像中的文字更清晰，并且比 SDXL 更准确地遵循多主体提示词。代价是更高的 VRAM（Large 需要约 ~16 GB，而 SDXL 需要约 ~8 GB）和一个较小的 fine-tune 生态系统。SDXL 在 LoRA 和 ControlNet 的多样性方面仍然占优。

SD3 真的能在图像中拼写出文字吗？

是的——这是它最大的改进。短的、高对比度的文本（标志、标签、海报）可以清晰可读地渲染出来，而早期模型只会产生乱码。长句子和小尺寸或风格化的文本仍然会失败，所以将其视为可靠用于几个词汇，而不是段落。

Stable Diffusion 3 用于商业用途是否免费？

仅在社区许可下，该许可对商业使用设有年度收入上限（通常为 $1M）。超过此上限，或者如果无法接受条款，则需要付费的 Stability 企业级或商业许可。由于 SD3 和 3.5 之间的条款发生了变化，因此请在向客户交付前再次检查。

图片鸣谢

• 带有纹理笔触大胆而彩色的表现主义绘画 — photo by Steve A Johnson on Pexels
• 屏幕上有代码、带有笔记本电脑和代码的创意桌子 — photo by Vlad Bagacian on Pexels
• 显示创意软件的双显示器现代设计师工作站 — photo by Tranmautritam on Pexels
• 深色背景上带有彩虹色的充满活力的几何 3D 形状 — photo by Mahmoud Ramadan on Pexels