本文介绍Stable Diffusion的快速上手，本地部署，以及更多有趣的玩法展示。
在 DALL-E2 和Imagen之后，AI绘图领域又一个热乎的深度学习模型出炉——[StableDiffusion](https://link.juejin.cn/?target=https%3A%2F%2Fgithub.com%2FCompVis%2Fstable-
diffusion “https://github.com/CompVis/stable-diffusion”) 。8月份发布的 Stable
Diffusion 更加高效且轻量，可以在消费级GPU上运行。StableAI公司表示：“它在速度和质量上的突破意味着它可以在消费者级的 GPU上运行。这将允许研究人员和公众在一系列条件下运行它，并使图像生成普及化。”
这意味着现在你只需一句话和几十秒的时间，就可以让你脑海中天马行空的画面出现在你眼前：
或者随手画一笔，让ai帮你加“亿点点“细节：
怎么上手玩起来
前两种方式都比较简单，Colab看起来复杂，实际上一步一步按照提示来，也很简单。所以本文着重讲解本地部署的步骤和如何解决会遇到的坑。
- 官方在线Web App - DreamStudio
- 👍 最易上手，登录即可直接使用
- 👍 可视化调参
- 😡 免费次数有限
- Google Colab运行
- 👍 免费，次数无限
- 😥 操作略微繁琐
- 😥 不能持久运行
- 本地、云服务器部署
- 👍 本地部署免费，次数无限
- 👍 功能完整，可玩性高
- 😥 硬件要求高
- 😥 租用云服务挺贵
- 😥 初次部署较为麻烦
DreamStudio
最简单无脑的上手途径，打开官网，输入一段话，等待结果出来就可以。没啥好说的，适合快速上手体验一下，或者付费玩家。
beta.dreamstudio.ai/dream
Google Colab运行
“Colab”，是 Google Research 团队开发的一款产品。可以通过浏览器编写和执行Python。可以免费分配使用包括 GPU 在内的计算资源。
打开这个Colab笔记本页面，按照步骤和提示执行就OK了。可能存在的坑模型的载入，需要用到Hugging
Face ，不过也都不是什么问题。
虽然看着繁琐，但是可以薅羊毛用免费的显卡资源，性能也还不错，还是很香的。
colab.research.google.com/github/hugg…
本地/云服务器部署
目前存在多个基于官方代码仓库fork出来的不同版本，可以有不同的部署和运行方式，包括docker部署，webUI。这里讲解基于官方的原版进行部署和使用，其他的方式都大同小异。
硬件
本地10G显存以上的显卡（显存不够也有其他办法），或租用拥有对应配置的云服务
环境依赖
Python，Conda
具体步骤
1. 下载模型权重文件
这个放在第一位是因为权重文件太大了，建议先下载起来，其他步骤在操作时，他可以在后台慢慢下载。
目前最新的是sd-v1-4.ckpt，版本越高，训练的数据量越大，下载最新版本即可，4.27GB
去huggingface下载：[huggingface.co/CompVis/sta…](https://link.juejin.cn/?target=https%3A%2F%2Fhuggingface.co%2FCompVis%2Fstable-
diffusion-v-1-4-original “https://huggingface.co/CompVis/stable-
diffusion-v-1-4-original”)
curl下载：
2. 安装python
dddd, 不赘述
3. 安装Conda
Conda 是一个依赖包和环境管理工具，有Anaconda 和 Miniconda两个版本，这里使用就可以。
可以官网下载对应的安装包，也可以命令行下载安装。
docs.conda.io/en/latest/m…
如果安装成功，可以通过 查看版本，conda准备好就可以进入下一步。
4. 拉取Stable-Diffusion代码库到本地
[github.com/CompVis/sta…](https://link.juejin.cn/?target=https%3A%2F%2Fgithub.com%2FCompVis%2Fstable-
diffusion “https://github.com/CompVis/stable-diffusion”)
5. 创建并激活 Conda 环境
a. 创建ldm环境
进入Stable Diffusion代码目录，使用environment.yaml文件，创建Conda环境。
这个命令会根据environment.yaml文件，创建一个名字叫做的虚拟环境，下载对应的依赖。这一步是很容易出现问题的地方，因为依赖比较多，安装时间比较长。可能会出现某些依赖安装时间特别长，最后失败的情况。
可能出现的问题：
- 因为过程中会用到pip安装依赖，如果安装依赖时间过长，可以在conda create执行前，先配置pip的国内镜像。根据我实际尝试的情况，建议使用清华镜像，阿里云镜像也很慢。
- 如果出现：Pip subprocess error: ERROR: Command errored out with exit status 128: git fetch -q … 的错误，则检查当前网络环境对github的访问是否通畅。
- 安装失败尝试再次安装时，可能出现提示环境已存在。这时候可以删掉原来的ldm环境，再重试安装。
b. 激活ldm环境
6. 生成脚本跑起来！
走完前面这些步骤，确认一下你的模型权重文件下载好了没有， 参数就指向这个文件。按照下面的参数，执行txt2img.py脚本。
如果执行成功，你应该可以在output文件夹内找到生成出来的彩色甜筒🍦的图片。
可能出现的问题：
- PytorchStreamReader failed reading zip archive
- 模型文件下载不完整，重新下载即可
尝试把
参数换成脑洞大开的各种描述词吧。其他参数详情可以参考git主页。[github.com/CompVis/sta…](https://link.juejin.cn/?target=https%3A%2F%2Fgithub.com%2FCompVis%2Fstable-
diffusion “https://github.com/CompVis/stable-diffusion”)
除了文字生成图，还有可以玩图生图。
一些能让图像更加有趣的提示词内容建议：
- 描述画面里想要存在的元素，物品，情绪
- 森林，秋天，雨水，雾，苔藓，城堡，樱花，海浪，山，神庙
- 氛围，情绪
- 快乐，阴郁，赛博朋克，霓虹，蒸汽朋克，原子朋克
- 画风
- 现实，逼真, 油画, 铅笔画, 概念艺术, 超现实，魔法，幻想，中国山水
- 艺术家
- 达芬奇, 梵高 (油画), 莫兰，莫奈 (风景）,宫崎骏与吉卜力工作室
- Artgerm（漫画精致五官）,Yuko Shimizu（插画）
- 润色和修饰(一些神奇咒语)
- 虚幻引擎，octane render（3D渲染）, ArtStation, 8k, 4k, washed colors
Ultra realistic photo, princess peach in the mushroom kingdom, beautiful
face, intricate, highly detailed, smooth, sharp focus, art by artgerm and
greg rutkowski and alphonse mucha
😝 更多玩法
显存不够10G怎么玩
可以使用显存占用优化的版本，牺牲推理速度，以获得比原始版本更少的显存占用。可以使用2.4G显存生成512*512尺寸图片。
为了减少显存使用进行的优化：
- 将Stable Diffusion模型分成四个部分，仅在需要时才发送到 GPU。计算完成后移回 CPU。
- 注意力计算是分部分完成的。
[github.com/basujindal/…](https://link.juejin.cn/?target=https%3A%2F%2Fgithub.com%2Fbasujindal%2Fstable-
diffusion “https://github.com/basujindal/stable-diffusion”)
接入机器翻译，让他支持中文提示词
开启web服务，接入有道翻译api，让他自动翻译输入的中文提示词，并执行图片生成。
说到中文支持，百度文心大模型发布的“ERNIE-ViLG
文生图”，最近也在开放测试，有更好的中文语境理解，更能理解你的中文梗。不过完整功能需要申请体验，参数较少，可玩性比较弱。
更有意思的图生图
除了单纯的文字作为输入生成图片，Stable
Diffusion还支持文字+图片作为输入，生成新的图片。就像最前面所展示过的，可以理解成你提供一个草图，ai根据你的要求，帮你添加亿点点细节。
这是我尝试的，使用一个简单的线条图片，加上一段描述文字：“一只耐克鞋”，所生成的结果：
如果我把他的输出再次变为输入，重复渲染，可以得到更多不同的结果。甚至可以一秒换品牌…
Stability AI 的口号是 “AI by the people, for the
people”。AI从群众中来，到群众中去。他可以单纯用来创作你天马行空的想象，也可以用作你文章的免费配图，能辅助你的工作，甚至能参赛获奖！赶快玩起来吧。
针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：
目标应该是这样的：
第一阶段（30天）：AI-GPT从入门到深度应用
该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。
-----------
- GPT的定义与概述
- GPT与其他AI对比区别
- GPT超强记忆力体验
- 万能GPT如何帮你解决一切问题？
- GPT表达方式优化
- GPT多类复杂应用场景解读
- 3步刨根问底获取终极方案
- 4步提高技巧-GPT高情商沟通
- GPT深度玩法应用场景
- GPT高级角色扮演-教学老师
- GPT高级角色扮演-育儿专家
- GPT高级角色扮演-职业顾问
- GPT高级角色扮演-专业私人健身教练
- GPT高级角色扮演-心理健康顾问
- GPT高级角色扮演-程序UX/UI界面开发顾问
- GPT高级角色扮演-产品经理
- GPT高级技巧-游戏IP角色扮演
- GPT高级技巧-文本冒险游戏引导
- GPT实操练习-销售行业
- GPT实操练习-菜谱推荐
- GPT实操练习-美容护肤
- GPT实操练习-知识问答
- GPT实操练习-语言学习
- GPT实操练习-科学减脂
- GPT实操练习-情感咨询
- GPT实操练习-私人医生
- GPT实操练习-语言翻译
- GPT实操练习-作业辅导
- GPT实操练习-聊天陪伴
- GPT实操练习-育儿建议
- GPT实操练习-资产配置
- GPT实操练习-教学课程编排
- GPT实操练习-活动策划
- GPT实操练习-法律顾问
- GPT实操练习-旅游指南
- GPT实操练习-编辑剧本
- GPT实操练习-面试招聘
- GPT实操练习-宠物护理和训练
- GPT实操练习-吸睛爆款标题生成
- GPT实操练习-自媒体爆款软件拆解
- GPT实操练习-自媒体文章创作
- GPT实操练习-高效写作推广方案
- GPT实操练习-星座分析
- GPT实操练习-原创音乐创作
- GPT实操练习-起名/解梦/写诗/写情书/写小说
- GPT提升工作效率-Word关键字词提取
- GPT提升工作效率-Word翻译实现
- GPT提升工作效率-Word自动填写、排版
- GPT提升工作效率-Word自动纠错、建议
- GPT提升工作效率-Word批量生产优质文章
- GPT提升工作效率-Excel自动化实现数据计算、分析
- GPT提升工作效率-Excel快速生成、拆分及合并实战
- GPT提升工作效率-Excel生成复杂任务实战
- GPT提升工作效率-Excel用Chat Excel让效率起飞
- GPT提升工作效率–PPT文档内容读取实现
- GPT提升工作效率–PPT快速批量调整PPT文档
- GPT提升工作效率-文件批量创建、复制、移动等高效操作
- GPT提升工作效率-文件遍历、搜索等高效操作
- GPT提升工作效率-邮件自动发送
- GPT提升工作效率-邮件自动回复
- GPT接入QQ与QQ群实战
- GPT接入微信与微信群实战
- GPT接入QQ与VX多用户访问实战
- GPT接入工具与脚本部署实战
第二阶段（30天）：AI-绘画进阶实战
该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。
- -----------
AI绘画定义与概述 - AI绘画的应用领域
- AI绘画与传统绘画的区别
- AI绘画的工具分类介绍
- AI绘画工具-Midjourney
- AI绘画工具-百度文心一格
- AI绘画工具-SDWebUI
- AI绘画工具-Vega AI
- AI绘画工具-微信中的AI绘画小程序
- Midjourney学习-Discord账号的注册
- Midjourney Bot界面讲解
- Midjourney提示词入门
- Midjourney高级提示词
- Midjourney版本参数学解读
- Midjourney功能参数
- Midjourney上采样参数
- AI绘画组合应用1-Midjourney + GPT
- AI绘画组合应用2-Stable Diffusion + GPT
- AI绘画组合应用3-AI绘画+ GPT +小红书
- AI绘画组合应用4-AI绘画+ GPT +抖音
- AI绘画组合应用5-AI绘画+ GPT +公众号
- AI绘画组合应用6-AI绘画+ GPT + AI视频
- AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
- AI绘画设计-Logo设计
- AI绘画设计-套用万能公式
- AI绘画设计-引用艺术风格
- AI绘画设计-GPT加速设计方案落地
- AI绘画设计-Vega AI渲染线稿生成设计
- AI绘画设计-摄影
- AI绘画设计-头像设计
- AI绘画设计-海报设计
- AI绘画设计-模特换装
- AI绘画设计-家具设计
- AI绘画设计-潘顿椅设计
- AI绘画设计-沙发设计
- AI绘画设计-电视柜设计
- AI绘画设计-包装设计的提示词构思
第三阶段（30天）：AI-视频高段位
恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- -----------
AI视频定义与概述 - AI视频制作-方案与创新
- AI视频制作-各种工具实操
- AI视频制作-美学风格(油画/插画/日漫/水墨)
- AI视频制作-形象设定(人物形象服装/造型/表情)
- AI视频画面特效处理
- AI视频画面拼接
- AI视频画面配音
- AI视频画面包装
- AI视频锁定人物逐一精修
- 多种表情动作/情节
- 动态模型转换-视频内部元素关键帧
- 动态模型转换-图像整体运动
- 动态模型转换-虚拟人
- 动态模型转换-表面特效
- AI自媒体视频-深问GPT，获取方案
- AI自媒体视频-风格设置(诗歌/文言文等)
- AI自媒体视频-各行业创意视频设计思路
- AI视频风格转换
- AI视频字数压缩
- AI视频同类型衍生
- AI视频Pormpt公式
第四阶段（20天）：AI-虚拟数字人课程
- -----------
AI数字人工具简介 - AI工作台界面功能展示及介绍
- AI数字人任务确定
- AI数字人素材准备
- AI知识、语料的投喂
- AI模型训练
- AI训练成果展示及改进
- AI数字人直播系统工具使用
- AI人物在各平台直播
- AI数字人在OBS平台直播
第五阶段（45天以上）：AIGC-多渠道变现课程
该阶段是项目演练阶段，大家通过使用之前学习过的AIGC基础知识，项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。
-----------
- AI-小红书引流变现
- AI-公众号引流变现
- AI-知乎引流变现
- AI-抖音引流/带货变现
- AI-写作变现
- AI-B站引流变现
- AI-快手引流变现
- AI-百家号引流变现
- AI-制作素材模板出售变现
- AI-周边定制变现
- AI-手机壳图案定制变现
- AI-周边产品定制变现
- AI-服装图案定制变现
- AI-个性头像定制变现
- AI-起号与知识付费变现
- AI-实现淘宝销售变现
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名AIGC的正确特征了。
这份完整版的AIGC资料我已经打包好，需要的点击下方二维码，即可前往免费领取！