吉林小说网家庭幻想ChatGPT是多个底层技术积累和市场成熟到一定程度的产物，可将ChatGPT类比iPhone，虽不是第一款智能手机，但却是最成功的一个。

　　与语音交互、图像识别等AI应用类似，ChatGPT也是一种人机交互。人通过文字和机器对话，获得内容。但是ChatGPT的突破之处在于，它可以基于大数据集自己生成内容，而不是简单的比对和匹配。

　　这意味着AI掌握了一定的自学习能力，技术迭代的速度大幅提升。AI进入2.0时代。这是一种生成式AI，是AI技术发展的里程碑。引入了基于人类反馈的深度学习的创新技术，解决了生成模式的核心技术问题，采用基于数据+知识的训练模型，而之前是基于数据的训练模型，采用了巨量的语料库和知识库，所以，可以像人类一样思考、分析和学习。

　　目前全球还没有能够跟ChatGPT抗衡的大模型。而我国在人工智能领域已经有了很大的发展，在某些赛道上已经与美国并驾齐驱，但在聊天机器人领域，我们与国外的差距至少有2年以上，中国目前还没到弯道超车的阶段，首先需要做好基础工作。ChatGPT的核心技术是其基础模型，而国内目前基础模型训练的充分程度还还赶不上国外，模型需要巨量数据的训练才能进化完善。

　　OpenAI通过开放其AI模型的API调用，使真实的用户数据调用和模型迭代之间形成飞轮式的正循环（飞轮效应），随着用户的使用次数增长，其迭代速度也越快，这种模式推动了美国的OpenAI等创业公司的发展，也建立起了一个AI的生态；而反观国内，我们目前还没有能够形成类似的AI领域生态。

　　第二，算力的差距，训练模型需要高强度的算力支持，因为英伟达A100芯片禁令的问题，我国头部公司在算力方面还是不及国外的Google等大企业；第三，中英文数据的质量差距，整个互联网的中文数据的质量相比于英文有非常明显的差距，我们需要做中英文不同语言之间的数据互补；第四，OpenAI的成功源于其独特基因，即其纯粹的创新精神和长期主义，这家公司是非盈利组织，它做的东西其实业界早有耳闻，通过长期主义的坚持，将AI的基础研究（底座）做得非常扎实，它最后成功的背后是无数次的失败尝试，而我国目前缺少这样的公司；第五，ChatGPT极其烧钱，其大语言模型的单次训练硬件成本就高于3000万人民币，再加上人力等成本，企业至少要准备百亿美元的资金作为前期的投入，一般企业是没有如此财力的。未来随着产品的使用需求越发频繁，其还会面临着服务器扩容和硬件升级等问题，对于IDC数据中心而言，不仅有芯片成本的问题，还有能耗成本的问题。

　　那国内的机会在哪里？尽管我们的技术有所落后，但是它未来在中国市场上的落地仍然会有很大机会，就好比国外有亚马逊，而国内有淘宝、京东，国外有脸书，而国内有微信等，这些国内企业的巨大用户量和市场是很大的优势；第二，本土的语言处理公司，例如科大讯飞等语音识别的企业，有技术上的沉淀，将来也会有发展机会；最后是国产芯片公司，行业对算力的需求也会促进有一定技术实力即拿到芯片领域“入场券”的企业发展，AI领域的竞争才刚刚开始，我们拭目以待。

　　2022年11月30日，OpenAI公司在社交网络上向世界宣布他们最新的大型语言预训练模型（LLM）：ChatGPT。ChatGPT是OpenAI对GPT-3模型（又称为GPT-3.5）微调后开发出来的对话机器人。可以说，ChatGPT模型与InstructGPT模型是姐妹模型，都是使用 RLHF（从人类反馈中强化学习）训练的。不同之处在于数据是如何设置用于训练（以及收集）的。根据文献，在对话任务上表现最优的InstructGPT模型的参数数目为15亿，所以ChatGPT的参数量也有可能相当，估计为20亿参数。

　　这是因为ChatGPT 使用了一种称为 Masked Language Modeling 的训练方法。在这种方法中，模型被要求预测被遮盖的词，并通过上下文来做出预测。这样可以帮助模型学习如何使用上下文来预测词。

　　GPT-3只能预测给定单词串后面的文字，而ChatGPT可以用更接近人类的思考方式参与用户的查询过程，可以根据上下文和语境，提供恰当的回答，并模拟多种人类情绪和语气，还改掉了GPT-3的回答中看似通顺，但脱离实际的毛病。

　　不仅如此，ChatGPT 能参与到更海量的话题中来，更好地进行连续对话，有上佳的模仿能力，具备一定程度的逻辑和常识，在学术圈和科技圈人士看来时常显得博学而专业，而这些都是GPT-3所无法达到的。

　　这个结合有利有弊，因为ChatGPT本身是聊天机器人，如果用在搜索引擎上，它可以帮用户过滤所有的搜索结果进行智能筛选；但是如果搜索的信息是非常专业领域的信息，ChatGPT会存在无法有效过滤专业信息的问题，所以对于特定领域的行业专家而言，他更希望搜索引擎能呈现所有的信息，然后自己去筛选过滤有用的信息，这样能避免AI过滤掉真正有用的信息。

　　目前还没有知识产权的问题，ChatGPT是属于新兴技术的生产力，生产力推动生产关系的发展，目前相关的生产关系还不完善。知识产权是生产关系问题，随着产品未来的应用，会倒逼法律、专利等生产关系的发展，目前还不会出现相关问题。

　　而就ChatGPT训练数据来说，是需要相关企业的数据授权的，比如商汤、寒武纪等公司的人脸识别数据，淘宝、微信的用户私人信息，都属于用户个人隐私，公司是不能把这些信息交给ChatGPT去训练的，公司唯一能做的就是脱密，把去隐私后的数据拿去训练。

　　关于ChatGPT时常出现的错误回答的问题，目前这个产品目前还属于早期阶段，只能当做一个工具，用来做一些基础的文本生成等工作，用户还需要对生成内容做二次校对。目前还有很大的局限性，尽管现在可以通过穷尽法背棋谱下围棋，但是涉及到复杂的数学、脑筋急转弯、逻辑推理等领域，它可能会频频犯错。而对于非专业领域的人很难辨别它回答的准确性，所以不能过度依赖ChatGPT的信息，总体而言它具有巨大的潜力，但是离真正代替人类来完成专业领域的工作还差得远。

　　在ChatGPT战场上，意味着更大规模的“烧钱”：大语言模型的单次训练硬件成本已经突破3000万元人民币，加上投入的人力、智力、训练时间成本，各大巨头需要准备百亿美元，直到真正的市场赢家胜出。

　　拥有1750亿个参数的GPT-3因其巨大的每秒浮点计算量，单次训练成本达到460万美元。眼下最主流的英伟达A100芯片，单次训练的使用量应达到数百片，成本在3000万元人民币左右。

　　此外，服务器扩容和硬件升级的成本也将占据相当大的比例，一方面，自从2月7日开始，ChatGPT因访问量巨大，回复速度已经大大减慢，另一方面，维护GPU芯片的成本也非常高，芯片使用是有寿命的，损耗几次就要另作他用。

　　那国内机会在哪里呢？身处人工智能落地的巨大市场，拥有本土算法公司的产业链网络，国产芯片厂商仍拥有AI芯片的入场券。

　　除了诞生以上三大创业业务，以及未来在各行各业加速大规模渗透和应用外，更重要的是为未来的人形机器和元宇宙的大规模应用和落地铺平了道路，加速了人类进入数字时代。比尔盖茨认为ChatGPT是能够比拟互联网和PC诞生的一个产品，所以他愿意投资其100亿美元。

　　影响非常大，以IDC算力为例，它是人工智能的数字底座，而提供算力的核心产品，即GPU芯片目前是由NVIDIA等国际巨头垄断，NVIDIA的A100已经对中国断供，对中国AI算力训练影响巨大，而且AI模型训练的高昂成本也是巨大的挑战，总体来看，国产企业还是存在缺芯少魂的问题，在芯片、工业软件方面受制于国外的技术限制，国产替代。

　　1) 在训练的强化学习 (RL) 阶段，没有真相和问题标准答案的具体来源，来答复你的问题。

　　3) 监督训练可能会误导/偏向模型倾向于知道理想的答案，而不是模型生成一组随机的响应并且只有人类评论者选择好的/排名靠前的响应。

　　4）要学会如何与 ChatGPT 沟通也需要技巧，因为它对措辞很敏感，有时模型最终对一个短语没有反应，但对问题/短语稍作调整，它最终会正确回答。不好的是，如果初始提示或问题含糊不清，则模型不会适当地要求澄清。

　　5）由于训练者更倾向于喜欢更长的答案，因为这些答案可能看起来更全面，导致输出倾向于更为冗长的回答，以及模型中会过度使用某些短语。

　　6) 造假。由于ChatGPT的设计初衷是用以对话式问答以及模拟人类的对话行为，ChatGPT在面对某些关键词检索场景时，虽然能够给出一定的解释，但却无法为用户提供足够有帮助的增量信息。而在面对某些模糊问题或是论述性问题时，ChatGPT为了能够使其回答更具有信服力，似乎选择了对其生成的部分内容进行造假。比如，当一位记者要求ChatGPT撰写一篇微软季度收益的文章时，ChatGPT为了增加文章的可信度，将微软首席执行官Satya Nadella的一次报价进行了伪造。

　　7）ChatGPT容易受到外界信息的影响。由于 ChatGPT 是具有学习能力的，模型能够记住此前与其他用户的对话内容，并将其进行复述。这就导致了用户将能够非常轻易地干预ChatGPT对于问题的判断与回答。

　　总之，虽然 ChatGPT 有了更好的强化学习的训练数据，但它目前并不完美，当前有人们最担忧人工智能的主要问题之一，就是聊天机器人和文本生成工具等很可能会不分青红皂白和质量好坏地对网络上的所有文本进行学习，进而生产出错误的、恶意冒犯的、甚至是攻击性的语言输出，这将会充分影响到它们的下一步应用。

　　-先后在美国硅谷/上海/深圳任职，曾担任华为技术有限公司·副总裁，华为软件公司（退休）

　　-ICT 行业30年实战经验，制定中国数字电视标准（20年），目前参与制定国家物联网与人工智能、智能硬件、先进制造的国家标准

　　-担任智能硬件协会理事长，智能硬件行业15000多个会员单位，美国硅谷行业800多个会员单位；

　　-专注于物联网产业、人工智能技术领域、机器人等智能硬件、高端装备制造业等细分领域。

　　拥有18位世界五百强企业高管/专家（华为 、高通、Intel 、富士康 、海尔 、TCL 、康佳 、美国思科  、博康股份 、摩托罗拉 、中芯国际、IBM 、Amlogic，Cadence 、Synapses、诺基亚、前海海润 、普华永道、大成律师 -全部总裁/副总裁/总监级别团队在上海、深圳、美国硅谷、北京） ，具有30-40年产业实战经验。

　　中欧资本提供的不仅仅是资本，更多的是提供产业链上下游资源、生态圈。基于智能硬件行业协会平台，构建5G·IC·IOT物联网·AI人工智能·先进制造 生态圈，布局硬科技赛道，培育下一个华为、高通、谷歌Google……

　　在很大程度上是解决“卡脖子”问题的利器，它们大都瞄准“缝隙市场”，在细分领域建立了竞争优势，甚至具有垄断话语权，能有效连接产业链的“断点”、疏通“堵点”。

　　目前芯光社微信群已有行业专家学者上千人，欢迎读者朋友们私信入群和他们交流！

　　关于我们：万氪Mancode旗下芯片专家&媒体平台，专注于材料科学、芯片、云技术与应用、人工智能等领域的科普和资讯平台。