最近老板说要引入人工智能提高效率、助力业务。这属于探索式的，无法预料最终效果如何，我搞了些调研，暂时没啥头绪
开源的东西挺多，但要落地还得不断调试，各方面细节不断打磨，还得改造或适配业务，工作量非常大，真引入的话估计忙得很
按老板的意思，大概能给 10~20 万的预算。这钱应该也够，32B 以上参数规模的大模型对硬件要求太高，选 32B 及以下就好
公司的数据涉及安全和保密问题，只能考虑离线私有化部署的方案，云服务器也不太合适，且云服务器也挺贵的，长期使用不划算
暂选的硬件配置为：显卡 RTX A6000 x2(NVLink 双卡) + 磁盘 2T(固态)+8T(机械) + 内存 128GB，预估总价 10+ 万
硬件采购不是我负责，捞不到啥油水，再说几千块对我也没啥吸引力，还不如搞好了公司给的奖金多，且奖金合法合理，问心无愧
话说各位公司有没有引入类似的东西，到底有没有用，或者你觉得是否实用？还是说这钱花出去基本是打水漂？欢迎相互交流一下
评论：
