《面向大模型的新编程范式》由王昕介绍，主要探讨了生成式AI对应用开发的影响，以及相关的开发运营模式、开发平台与工具和开发最佳实践。

　　- 生成式AI改变应用开发：生成式AI正在改变应用开发，如GPT - 4、DALL·E 2/3、Codex等模型可以根据提示生成文本、图像、代码等内容。

　　- 引起变革的核心技术：大型语言模型（LLM）是引起变革的核心技术，具有大规模预训练、多层编码、语言生成、对话系统和可扩展性等技术特点，能够有效捕捉用户意图，提升准确度和上下文理解能力。

　　- 最新的大模型能力比较：GPT - 4o在多个评估指标上表现出色，与其他模型相比具有优势。

　　- Benchmark指标的解读：MMLU、GPQA、MATH、MGSM、DROP等指标分别反映了模型在综合语言理解、常识性问答、数学问题、数学与逻辑推理、阅读理解与信息抽取等方面的能力。

　　- 问题举例：MMLU的问题如“七个兄弟在一起玩”的推理问题；MATH的问题如李大爷放牛吃草的数学问题；MGSM的问题如计算乘积725,273×67,067的十位和个位数字；DROP的问题如在文章中找出相隔两年的事件。

　　- 传统智能对话应用开发的困难：传统智能对话应用开发需要创建租户和基础结构、注释大量话语和对话、创建主题、托管服务等，流程复杂，耗时耗力。

　　- LLM引领的新的应用模式：LLM引领的新应用模式实现了计算平权，如ChatGPT相当于AI界的iPhone，具有多语言对话能力；iPhone具有多点触屏功能；Google搜索有单一输入框；浏览器和HTTP有超链接地址；Windows有桌面交互；Unix/Linux有统一命令行交互。

　　- LLMOps--新的AI应用开发运营流程：LLMOps包括数据管理、实验、评估、验证和部署、推理、监控和反馈等环节，与传统的MLOps相比，目标受众更广，要共享的资产包括LLM、agents、plugins、prompts、chains、APIs等，指标评估更关注Kaiyun全站网页质量、危害、正确和成本等。

　　- 在线监控和可观测性：在线监控和可观测性包括对Grounding、Query、Prompting、Answer等环节的监控，以确保LLM系统的可靠性和安全性，及时发现和解决问题，如数据源问题、错误的提示、幻觉、错误Kaiyun全站网页答案、RAG检索错误、数据隐私泄露等。

　　- 形成完整智能应用的开发工作：开发智能应用需要使用LLM提供程序设置订阅、上传、分块和创建知识的向量索引，与知识索引和其他API集成，设置进程保持索引同步，开发自定义工作流，构建业务流程协调程序，与用户体验平台集成等。

　　- Azure AI Studio生成式AI使用场景：Azure AI Studio生成式AI可以用于企业级聊天、语音分析、内容生成、新产品和服务、超个性化、更好的销售和营销等场景。

　　- 基于无代码构建智能应用--Copilot Studio：Copilot Studio是一款端到端的对话式AI产品，适用于使用生成式AI、大型语言模型和数据构建自己的Copilot或扩展Microsoft Copilot，能够在几分钟内完成创建、管理、发布和扩展Copilot等工作。

　　- 应用大模型主要的三种技术方式：应用大模型主要的三种技术方式包括提示、嵌入和微调/训练/定制。提示是针对LLM模型的Completion API，通过好的提问引导答案，通过举例促成上下文学习；嵌入是针对Embedding模型的Embedding API，将知识向量存储到向量数据库中；