5月30日，由中国互联网协会中小企业工委会主办，中国信通院“铸基计划”和中国移动设计院联合发起的2024大模型生态创新发展大会在京圆满举办。东方通受邀出席会议，正式推出并展示了大模型相关创新成果——大模型中间件TongLMM。

随着人工智能技术的迅猛发展和深度学习的广泛应用，大模型已成为推动科技进步和产业变革和数字化转型的重要力量。然而大模型训练、维护和运营，既需要高性能计算机、大规模分布式集群，还需要大量的高水平专业人员和海量数据的投入，这些都意味着巨大的投入和巨大的风险。此次大会汇聚全国顶尖的科研力量、产业界精英以及政策制定者等，围绕大模型数字化成熟度等相关标准、大模型行业应用、大模型产业融合创新等多个方面展开深入讨论。

TongLMM重磅上线

中间件作为应用与大模型之间的桥梁，是推动AI技术落地和产业升级的重要力量，东方通作为中国中间件领域的开拓者和领导者，率先在AI领域布局探索，充分解决用户在使用大模型能力过程中存在模型生成的内容与现实世界事实不一致、训练专属模型投资大、现有应用难与大模型全面融入、存在安全隐患等普遍性难题，让更多行业客户能够更简单、便捷的构建大模型应用，从技术角度解耦大模型对接能力并做强中间层，推出了大模型中间件TongLMM产品。

大模型中间件TongLMM延续了传统中间件层的基础支撑优势，能够在AI系统架构下，利用向量数据库给大模型增加外部知识库，同时在中文嵌入（Embedding）方面做优化处理，针对应用开发，TongLMM能够提供大模型应用编排功能，包括大模型应用开发、运维一体化服务，为企业客户提供大模型专属能力。

另外，TongLMM支持私有化模型方式部署，作为应用与大模型之间的桥梁，TongLMM融入消息中间件、缓存中间件、数据交换、自然语言处理等现有组件，能解决大模型落地过程中数据集成、应用集成、知识库与大模型融合、数据不精准、安全隐患等问题。

TongLMM既拥有东方通中间件的技术优势，大幅降低企业开发大模型应用门槛，同时将深厚的客户应用支持、上线部署等实践经验融入产品，具有强大的客户业务场景理解力与洞察力，在应用模板、应用管理模式等更贴合业务需求，让用户更安全、更敏捷、更精准、低成本开发出自己的大模型应用，快速应用到现有业务中，并实现高效的全流程管理。

技术与能力融合 TongLMM帮助用户随心而定大模型应用

东方通的TongLMM产品面向用户需求，提供应用快速使用大模型能力，能够提供RAG/Agents设计、应用模板、应用中心、模型管理、知识库管理、提示词管理等功能，让0基础的用户也能够快速构建基于大模型的检索增强应用（RAG）和智能体应用(Agents)，例如信息检索、信息推荐、智能运维、问答助手等，此外对于大模型建设中的用户，也可以将企业现有的工具、能力服务、数据库、数据仓库、机器学习模型、大模型等编排起来，充分融合原有服务、数据和机器学习模型等，构建企业专属的混合专家(MoE)大模型。

针对检索增强(RAG)和智能体(Agents)，TongLMM具备从设计态（构建、配置、优化、对接）到运行态（执行、反馈、监控）全流程管理能力。其中检索增强(RAG)基于请求从向量数据库获取业务数据，完善提示词，参考历史缓存记录，并借助大模型涌现能力来思考和润色，能够有效得从技术角度提升大模型的精准性、智能性、理解能力；智能体(Agents)将插件工具、提示词、大模型、知识库、RAG、Agent作为基础能力，用流程方式实现业务交互或优化迭代，实现选择工具和使用工具，完成复杂的业务过程，并能在实践应用中持续自动化学习、提升性能，有力辅助业务。

TongLMM具备MoE混合专家大模型编排和构建能力，通过Agent编排，融合更多的垂直大模型、行业大模型、机器学习模型，使用专业模型处理业务意图的特定任务或特定领域，提供更精准的预测和决策等能力，在业务任务执行上展现出各自优异能力，准确率和性能更高，让不同行业领域的政企客户能够构建更加符合实际场景需求的应用，帮助企业更好地理解用户需求和行为模式，从而提供更加精准、个性化的服务。

总结来说，通过创新的技术能力突破，TongLMM打破原有的大模型应用高门槛使用模式，让用户从落地大模型、使用大模型、迭代大模型应用的整个过程都能够拥有全新体验。

便捷、易用性增强

大幅降低实施与学习成本

业务应用可采用JavaScript、iFrame、Restful、SDK等多种方式对接，让用户便捷使用大模型能力；大模型、知识库、插件工具、提示词等都界面化操作，支持拖拉拽构建大模型应用，无需大量人力、精力成本投入，可快速上线以及运营。

精准度高、实时优化

伴随业务升级迭代

采用自然语言识别和多类型数据接入能力，提供实时数据更新机制，让业务可以调用最新数据参与大模型推理，持续提升数据识别、理解的精准性。

安全性强、隐私保护级别高

保障应用合规

支持私域部署，支持大模型私域部署或SaaS服务对接方式，用户数据不出域，应用访问采用颁发认证方式，数据传输和访问采用加密模式，确保数据安全；在隐私保护上，具有租户隔离和数据隔离能力，同时支持对大模型的输入输出实施干预处理，全面保障企业与企业客户隐私。

低成本投入

抢占市场先机

支持开源大模型和大模型SaaS服务等多种大模型接入，根据用户投入情况和业务需求，灵活选择开源大模型、闭源大模型、微调大模型、大模型服务等，借助TongLMM能力，都可在原有基础上，大大提升大模型精准度、应用对接便捷性和业务安全性，低成本落地大模型应用。

大模型应用场景不断拓展 大模型中间件 TongLMM将“无处不在”

大模型应用从C端市场的密集上新，到政企市场的需求爆发，其应用场景在不断拓展，TongLMM从通用型场景着手，在信息推荐、智能写作、AI助手、智能运维、自智网络等关键业务领域提供支持，能够向全行业客户提供大模型应用构建能力。

信息推荐

基于用户场景进行自主推荐，例如在电子商务、社交媒体等领域，通过TongLMM构建大模型应用，可以自动为用户进行个性化产品推荐、内容或广告推荐等。

员工AI助手

在企业中，公司政策、规章制度等信息的及时传递，是提升运营管理效率的重要基础。TongLMM帮助企业构建员工AI助手，随时提供准确的政策咨询和解答，让员工在工作中更加得心应手。同时还能根据需求，提供个性化的工作建议和帮助。

智能运维

对于企业的IT团队来说，软件运维是一项复杂而繁琐的任务，TongLMM可灵活构建智能运维大模型应用，应用实时监控软件运行状态，进行参数调优、智能负载、智能诊断、智能问答等工作，及时发现并解决问题，提供软件运维效率。

智能写作

内部沟通与需求总结等工作耗费了企业员工及管理人员的大量精力，TongLMM可灵活构建智能写作应用，应用在智能写作大纲、内容摘要、全文写作等提供高效、准确的写作支持，让政企员工有更多时间专注于创造性思考。

自智网络

在通信领域，自智网络是未来的发展趋势。TongLMM可以拖拉拽编排专业智能体，实现网络的智能化管理和优化。借助智能体意图理解、任务分解、方案制定、任务执行、闭环反馈等能力，实现L4~L5网络自智水平，包括预测网络流量、优化资源配置，提高网络负载能力和可靠性，为用户带来更加流畅、稳定的通信体验。

大模型应用已逐步渗透到各行业中，特别是金融、医疗、政务等数字化升级迫切的领域中，业务的智能化升级成为企业之间未来发展的竞争将重点。TongLMM无疑是企业大模型应用上线的加速器，将帮助企业重塑发展效能、创新力与决策力、服务能力等综合能力，让企业能够在新一轮发展周期中赢得更大市场空间。