dengjf99

NVIDIA nemo 是由英伟达开发，可用于数据收集、大模型训练、微调、部署。框架具备fine-tuning, prompt learning, and adapter techniques能力，对模型生成内容做优化，学习特定领域知识等；推理上框架使用 NVIDIA Triton优化

最直接的一个是传统服务器机架的供电、散热效能较低，不满足高性能GPU服务器的要求，空间浪费大。

100张卡的算力也已经很多了，用于十亿、百亿级别的模型训练完全足够了。

如果是不涉及客户敏感信息的企业私有数据、公开数据，可以考虑使用公有云做模型训练。

知识搜索；提供制度相关的问答，并给出涉及知识出处。 智能写作工具：主题内容创作/扩写、不同文体创作 营销助手：提供营销文案写作、聊天摘要、问题回答建议 坐席助手：话术梳理、通话摘要、话术建议 代码助手：代码质检、测试

1）大模型训练可以用英伟达megatron-lm或megatron-deepspeed、Deepspeed。2）在模型推理过程中，使用FasterTransformer框架，也可以使用deepspeed框架进行加速推理。

大模型和传统模型一样，对特定任务有特定的评估指标，首先评估指标要有提升，并且结果可控、稳定。另外，大模型的部署推理成本较高，也要考虑ROI。

作为起步资源来说，可以先购置若干台中高配的AI芯片服务器作为训练或推理服务器，英伟达或国产AI芯片的都可以，大概30-100w一台。更简便的方法是使用大厂的云服务，现在逐渐完善大模型的云服务，再使用脱敏后数据做些微调训练，

数据隐私与GPU选型没有必然联系，具体保护方式要看模型部署方式、使用的训练语料、用户输入指令的方式等。譬如， 最保险的方法是行内私有化部署，只开放给内部用户使用；如果是开放给外部用户使用，则不能使用行内敏感数据和涉

大模型的资金和软硬件资源的投入要求是非常高昂的，有的大行是规划了数以亿计的惊人投入，反而可能加剧马太效应。另外，大模型是一个以NLP技术为主的模型，并不一定能解决银行方方面面的业务问题。建议在引入上还是以ROI评估