[罗牛山股吧]如果AIGC继续发展，你相信哪个世界？

作者：周志峰、胡奇

编者按：

本年以来，由游戏规划师杰森?艾伦运用AI绘图东西Midjourney制作的著作《太空歌剧院》夺下了美国科罗拉多博览会的年度艺术竞赛的首奖，引起艺术家和交际媒体的热议，也让AIGC（人工智能主动生成内容）概念成为AI界年度热词，并掀起了一股AIGC出资热潮。AIGC真如外界所宣扬的那般美好吗？其背面的立异创业生态将怎么构建？

从2012年AlexNet获得深度学习里程碑式的打破以来，启明创投在曩昔的十年中都是我国最活泼的人工智能出资组织之一，咱们见证了人工智能从算法到运用的一次次打破和开展，对人工智能的远景咱们一向坚持着热心和沉着。启明创投开设硬科技前瞻专栏，期望从创投视角深度解读前瞻技能打破，多维度剖析职业趋势，寻觅新锐科技力气。

假如我和你说，未来AIGC或许有两种国际：一种国际是多个大模型根底公司，为上游运用供给API和模型服务，上游运用公司只需求专心于开发产品逻辑和上层算法；而另一种国际则好像今日的AI公司相同，每家公司都依据本身需求研制底层大模型，为本身运用供给技能支持。

你对任何一种国际的信任都将构成你当下出资和创业的挑选，当然，这两种国际也或许存在相互交错的过渡形状，但需求你来对过渡形状的继续时刻进行判别，你会挑选信任哪一种国际？

AIGC的两种国际

先不必着急给出你的答案，再问你两个问题：

1、假如GPT-4，或许3年、5年后最好的模型比GPT-3大100倍乃至1000倍，作为创业公司是否还要自研？

2、在某个范畴的底层根底模型没有老练的时分，挑选在该范畴进行创业是很好的timing吗？

假如你对未来的AIGC国际和这两个问题感兴趣，咱们将进入今日的文章。咱们将简略回忆近期热烈的AIGC，从中探寻AIGC在本年火爆的根本原因，并将结合强化学习奠基人之一RichSutton的“AI70年沉痛的经历”和Jasper.AI、Copy.AI等公司的开展，做出咱们关于这个国际的判别。信任看完今后，你也将会得出自己的答案。

引爆用户的AIGC

假如用一个字描述曩昔几个月的AIGC（AIGeneratedContent）/GenerativeAI那么应该是“火”。Midjourney的著作获得美国科罗拉多州博览会的数字艺术竞赛一等奖，引发注重和广泛争辩，有人戏称AIGC让每个画师都在忧虑赋闲。与此同时，本年相对沉寂的VC迎来新风口，接连轰炸的AIGC公司的融资音讯和新闻让VC又一次发生FOMO(FearofMissingOut)的心情；DreamStudio、Midjourney等AI作画运用契合视觉消费的年代主题，引爆了C端热心。

Midjourney的获奖著作–太空歌剧院Thé?treD’opéraSpatial

其实AIGC并不是一个新颖的概念，AIGC即用AI算法生成文本或许图画等内容，各种NLG(天然语言生成)模型和GAN（生成敌对络）及其变种模型都是此前的生成式AI模型。假如你翻开谷歌查找AIGC，会发现排在前面的根本都是中文站，因而有人说AIGC是一个国产概念，与之对应的海外概念是Gartner在2019年提出的GenerativeAI，为一致了解，本文将选用AIGC来表达AI生成内容。

咱们调查到新一波AIGC浪潮起源于2020年的预练习大模型GPT-3，现在火爆的图画生成、视频生成、3D生成等，实质是大模型从文本生成扩展到多模态，并结合原有模态算法进行完结（当然，以图片生成图片等本模态之间的AI生成，以及图画生成视频、2D生成3D等跨模态生成也是AIGC，例如VAE、StyleGAN、Nerf等与AI生成相关的模型都在GPT-3发布之前或之后提出，但这些方向的作业并非引爆新一波AIGC的主要原因）。因而，咱们看到的许多AIGC运用，现在的体现形式大多为输入一句话，生成一句话/一张图/一段视频/一串代码等。

1750亿参数的GPT3曾一度是AI前史上最大的机器学习模型，比较于15亿参数量的GPT2，GPT3参数量前进约117倍，预练习的数据量也从50GB前进到的570GB。2020年发布GPT3的时分，OpenAI并没有将作业重点放在模型结构的立异上，反而是进行了许多工程化的作业，充沛展现GPT3经过Zero-Shot、One-Shot和Few-Shots（即不需求额定数据进行微调，直接给出几个样例就可以让模型做出正确的生成）等Prompt办法完结多种NLP使命的通用性和泛化才能。经过释放出API接口供群众调用，GPT-3的商业化也正式提上日程。GPT-3展现出惊人的作用后，一年后尖端试验室和科技大厂连续发布自己的NLP预练习大模型，模型参数量呈现指数等级的添加。

深度学习模型中参数数量的指数级添加

随后的一年内，OpenAI进行了屡次多模态的探究，其中最闻名的是Text-to-image系列模型DALLE和DALLE2。

OpenAI在2021年1月发布初代Text-to-Image模型DALL-E，尽管比较于此前作画模型开展惊人，但作用并未让群众冷艳，因而只在学界引发了巨大的注重。2022年4月，OpenAI再次发布第二代Text-to-Image模型DALL-E2，作用极好，但OpenAI仅用一篇未发布细节的论文展现其作用，并仅为审阅经过的开发者供给接口试用。2022年8月，学习Dall-E2的思路，StableDiffusion模型开源，至此，AI图画生成开端迸发。

DALLE、DALL-E2和其他开源模型的发布时刻线与作用

时刻轴图片StateofAIReport2022,stateof.ai/

总结AI生成图画开展滞后于生成文本，但却在2022年下半年迸发的原因，咱们不难发现如下规则，上一层级的AIGC往往依靠于下一层级的AIGC开展到必定程度，如Text-to-Image依靠于Text-to-Text本身的算法开展相对老练，同理，咱们估测Text-to-Video也需求依靠Text-to-Image和其他视频猜测算法（如视频插帧）的开展老练，因而，咱们可以对不同复杂度的AIGC内容的进化道路得出以下推论：

AIGC中不同内容的进化道路

AIGC为何引起新一波热潮？

假如剖析新一波AIGC得到开展的原因，最直接的定论是由于大模型（如GPT-3、Dalle2、StableDiffusion等）带来了十分好的作用和泛化才能。

其实从GPT-3呈现之前，早在2018年3.4亿参数的Bert模型在其时现已算是巨无霸等级的存在，仅仅没有想到短短2年内，模型参数就前进到了GPT-3的1750亿。3.4亿参数的Bert将SQuAD1.1的F1得分前进到93.16分，超越人类的体现，并用屠榜的作用赢得了多项NLP测验。但直到GPT-3的呈现，NLP模型才可以更好地完结NLG使命，而且对Few-shots的运用愈加熟练。

大模型还展现出了强壮的泛化才能，GPT-3的API接口让下流的运用公司可以不需求搬迁学习就直接将AI才能运用到自己的使命中，API接口发布不到1年内就招引了约300家公司调用其API，也印证了在2021年8月斯坦福大学教授李飞飞等100多位学者联名宣布的200多页的研讨报告OntheOpportunitiesandRiskofFoundationModels中关于大模型（一致命名为FoundationModels）可以会集来自多种模态的一切数据的信息，并直接适用于多种下流使命的设想。凭借GPT-3的API接口，OpenAI也逐步从独立的试验室走向大模型的根底设施公司。

图片论文OntheOpportunitiesandRiskofFoundationModels

但假如进一步对为什么大模型可以带来更好的作用和泛化性进行剖析，咱们现在还只能经过试验而非明晰的理论进行解说。的确大多数状况下更大规划的模型会带来更好的作用，但详细原因没有被探明，学术界也存在许多讨论。在最新的一篇关于大模型的研讨论文中，作者经过试验证明了大多数使命的作用跟着模型的增大而前进――在一些使命中，跟着模型增大而作用相似线性相关地变好的状况，作者将这类使命界说为LinearityTasks，相同，也有一些使命需求模型规划超越某个临界点后，会忽然呈现相应的才能，尔后在跟着模型规划的增大而进步作用，作者将这类使命界说为BreakthroughnessTasks。（当然，也存在少部分使命的作用跟着模型增大而下降）。

图片论文BeyondtheImitationGame:Quantifyingandextrapolatingthecapabilitiesoflanguagemodels

相同，论文EmergentAbilitiesofLargeLanguageModels中也有相似的试验证明，当模型到达临界大小时，许多NLP才能会不行猜测地呈现――呈现规则。

假如再进一步诘问为什么模型可以越做越大，则不得不说到Transformer的长处。Transformer处理了并行化练习和长依靠问题，可以包容更多的参数规划，为模型进一步做大供给了根底，而大模型带来了更好的作用和泛化性，供给了超越以往的生成才能，引发了新一波AIGC的迸发。

Transformer供给的并行化和对大局信息掌控才能，对算力的充沛发掘和运用，也近乎完美地契合2019年DeepMind出色科学家、强化学习的奠基人之一的RichSutton在文章TheBitterLesson中论说的观念――从曩昔70年的人工智能研讨中可以得到的最大经历，是运用核算的一般办法终究是最有用的，而且作用进步起伏很大。

在文章中，RichSutton经过罗列深度查找超越人类常识规划的算法而在核算机国际象棋中打败人类冠军、隐性马尔可夫模型在语音辨认范畴打败根据人类常识的算法、核算机视觉中深度学习运用卷积超越此前查找边际和以SIFT特征为根底的办法，证明了为了寻求在短期内有所作为的改善，研讨人员更倾向于运用人类对该范畴的常识，但从久远来看，仅有重要的是对核算的运用。

可是，RichSutton关于“久远来看，仅有重要的是对核算的运用”的观念，其时并没有引发业界的激烈注重，乃至在大模型促进AIGC蓬勃开展的今日，许多创业者和出资人依然没有对这句话的含义满足注重。

未来的国际

现在关于GPT-4盛行着两种传言，第一种是生成GPT-4并不会比GPT-3的参数规划大太多，估计是几千亿等级的参数量，但会运用更许多的数据进行练习；另一种传言是GPT-4的规划将会比GPT-3大至少一个量级。不论哪一种传言是对的，假如咱们认真思考RichSutton的“久远来看，仅有重要的是对核算的运用”这一观念，则很难防止的需求答复这样一个问题“假如GPT-4，或许3年、5年后最好的模型比GPT-3大100倍乃至1000倍（这儿的100倍，或许是模型参数量、也或许是练习运用的数据量），作为AIGC运用侧的草创公司还是否要自研？”

2012年至今，体现最好的模型参数每18个月添加35倍，增速远超摩尔定律

咱们在今日热烈的AIGC创业气氛中，有时会听到这样的一种达观言辞―商场上可以调用的大模型API作用并不好，咱们需求得到一笔融资，去研制自己的大模型，有了自研的大模型，咱们想要做的杀手等级的运用（如写作帮手、图画生成等等）就会获得更好的作用，终究赢得客户。持这种论调的创业者，大多有着不错的技能布景，而且大概率在AI范畴有过一些值得人敬重的作用。可是，RichSutton之所以得出沉痛的经历，正是由于根据这样的前史调查：1）人工智能研讨者常常企图将认知加入到他们的模型中，2）这在短期内总是有协助的，而且对研讨者个人来说是满足的，可是3）从久远来看，它的影响趋于平稳，乃至按捺了进一步的开展，4）打破性的开展终究经过一种与之敌对的办法，是根据查找和学习这样可以扩展核算的办法。

这样的调查与上文咱们调查到的一些论调十分相似，今日创业者期望经过运用与本身事务相关的数据、经历、技巧等去自己构建当下的最好的大模型，的确有时机在本身范畴带来超越今日大模型根底设施公司揭露供给API的作用，可是这也相同意味着企业要一向分配一大部分精力和资金在根底模型的研制上，那天然放在事务上的资金和精力则会削减。PMF(Product-marketfit)以及PMF之后的事务拓宽，都需求企业投入悉数的精力来完结，这大模型所需求消耗的研制投入和资金本钱明显与会集精力做PMF有一些对立。

关于以上的问题，现在AIGC创业公司中现已完结PMF和商业化拓宽的两个代表性公司Copy.AI和Jasper.AI并未纠结。前者在建立的一年内完结了1000万美元的ARR，而后者则更是凶猛，在建立的2年内完结了4000万美元的ARR，估计在本年完结9000万以上的ARR。两者的共同点都是根据挑选了运用GPT-3供给的API进行创业，并在GPT-3供给的API的根底上，在前端做了许多的操控算法和产品逻辑，并会集精力打磨产品。

值得警觉的是，大模型是一向在前进的，消耗的本钱也越来越高。OpenAI1750亿参数的GPT-3消耗了大约500万美元的练习资金，Stability.AI也在保护一个4000多个NvidiaA100GPU组成的集群来练习AI模型，明显这么大的练习费用关于创业公司是一个压力。尽管StableDiffusion现已开源，但在图文生成范畴还有更多前进的空间，现在来看Stability.AI的方向并非成为图画侧的运用公司，而是成为大模型范畴的根底设施公司（或许相似于huggingface）。那么不由要问，假如有一天Stability.AI像OpenAI相同，并不再开源其最先进的模型，而是供给商业化调用的时分，创业公司是否还要挑选自研大模型来坚持最先进，假如答复是Yes的话，资金又要从哪里征集呢？

别的一个值得注意的问题是，现在Stablediffusion开源模型所展现的作用并没有在图画范畴达到如GPT-3在NLP范畴相同的作用，尽管其C端火爆的现象依然继续，可是假如真的转化成B端的通用生产力东西，Stablediffusion还存在无法针对图画做更细节的生成（如手部作用等）、无法拟定某个特定区域修正乃至修正后与原场景十分和谐、无法操控画作中不同元素（实体）进行独自修正等许多问题（截止发稿前，Stablediffusion2.0现已在11月24日发布，改变包含对分辨率的进步、引进图片修改功用等，但上述问题依然未得到充沛处理）。简而言之，现在除了NLP范畴的大模型是相对老练以外，图画的AIGC模型姑且处于前期，视频、3D、游戏等内容的AIGC模型则处于更前期阶段。因而创业者需求答复的另一个问题是“当底层根底模型没有老练的时分，是挑选在该范畴进行创业很好的timing吗？是否应该比及底层模型相对老练且API就位后才是更好的创业timing？”

以Text-to-Image范畴为例，天然会有一些英勇的创业者会去前进其时Stablediffusion的作用，自己练习前端的CLIP模型，乃至自己练习后端的Diffusion模型。的确，在其时模型没有开展到必定程度时，拿到一笔钱后做出比当下商场上最好的模型作用还要好的模型，并为事务发生更好的作用的主意的确十分引诱，这个主意下可以展现出的Demo、优异的AI团队，或许也是令VC陶醉的。但回忆NLP的前史，假如Copy.AI、Jasper.AI并未在2020年OpenAI研制出GPT-3并敞开接口后再挑选创业，而是在2015年、2018年拿着其时的模型去挑选做营销帮手的创业，其成功的概率会有多大？而从现在的商场状况来看，图画、视频范畴则没有呈现与Jasper.AI和Copy.AI相似的、现已完结超越千万ARR的新的运用类创业公司，更多是本来现已存在的运用公司经过新的模型进职事务才能的添加。信任除了StableDiffusion模型开源的时刻尚短以外，也有着其时最好的模型亦没有老练的原因。或许，在图画等其他内容范畴，现在年代还在呼喊着与OpenAI相似的供给API的根底设施类公司，然后才是运用生态昌盛的开端。

参阅国外AIGC不同类型的公司呈现的节奏，可以发现如下规则：

第一步，尖端试验室研制革命性的模型

第二步，试验室或许AI科学家建立根底设施公司，供给API和模型对外服务

第三步，具有职业经历的产品人才运用根底设施公司供给的API，专心于打磨本身运用，服务客户

从NLP到其他模态（如图画、视频、3D等），以上规则重复呈现。

其时NLP国内外都现已呈现根底设施公司供给API接口，国外有OpenAI、Cohere等公司，国内也呈现了智谱篇章这样研制出超大规划预练习模型（作用在多个揭露评测集上功能超越GPT-3）并供给模型服务商场（ModelasaService）的根底设施公司。

有了根底设施公司供给相对老练的API服务，启明创投将继续注重NLP杀手级运用；而图画、视频、3D等范畴，没有呈现可以供给商用API的根底设施公司（StableDiffusion和Midjourney有或许是第一批图画范畴的根底设施公司）。

启明创投相同会注重在大模型年代前就建立，专心于笔直范畴的运用公司，他们将在新一波AIGC浪潮中凭借大模型的才能，推出新产品和或许大幅进步原有产品作用（例如Notion和RunwayML）。此外，在两个国际过渡的过程中，可以拿到高额融资的笔直一体AI公司依然有或许在时刻窗口中占有有利位置（例如AI21lab和Character.ai），咱们对此类时机相同坚持注重，但会愈加慎重。

当然，就像是恐龙年代中，哺乳动物作为微小的生物并不显眼，但却终究面临各种恶劣的环境生计下来并开枝散叶相同。从2012年AlexNet获得深度学习里程碑式的打破以来，启明创投在曩昔的十年中都是我国最活泼的人工智能出资组织之一，咱们见证了人工智能从算法到运用的一次次打破和开展，对人工智能的远景咱们一向坚持着热心和沉着。咱们将对现在开展的元学习、新一代AI推理或许其他运用更小数据量和参数量的模型开展坚持注重，或许未来有一天transformer不再是最优范式，笔直运用的国际会再次到来。

可是，在此之前，第二种国际向第一种国际的过渡看起来无法防止，要知道尽管恐龙终究灭绝，但灭绝之前，他们曾作为霸主控制地球1.6亿年。

关于作者

署名作者均为启明创投TECH出资团队成员，周志峰是启明创投合伙人，胡奇是启明创投出资司理。