网站首页动态 > 综合精选 > 正文

技嘉推出全新 AI TOP 预装 PC 用于本地 LLM 训练和推理

2024-06-04 16:29:06 综合精选来源：

导读如今，人工智能 (AI) 成为新闻热点，OEM 厂商几乎把 AI 标签贴在了所有东西上 — — 甚至连最不起眼的导热膏也贴上了。虽然大多数...

如今，人工智能 (AI) 成为新闻热点，OEM 厂商几乎把 AI 标签贴在了所有东西上 — — 甚至连最不起眼的导热膏也贴上了。

虽然大多数 AI 模型(例如 ChatGPT、DALL-E、Gemini、Llama、Copilot 等)由于计算要求极高而严重依赖云，但也可以在边缘或客户端系统上运行 AI 推理。如果您想在敏感数据和 IP 上训练 AI 模型，同时将它们保留在本地，这一点就变得尤为重要。

训练 AI 模型并在边缘进行推理是可能的，但消费级硬件在运行大型模型和高效处理每瓦更多令牌方面存在重大限制。技嘉希望通过新的 AI TOP 系列改变这一现状，帮助您“在办公桌上训练自己的 AI”。

技嘉表示，其 AI TOP PC 建立在三个结构上：AI TOP 实用程序、AI TOP 硬件和 AI TOP 导师。目标是允许从 8/300 亿个参数扩展到 70/2360 亿个参数，同时能够通过普通墙上插座运行系统。

AI TOP 实用程序允许监控各种系统参数，例如 CPU、GPU、RAM 和 SSD 使用情况，同时为 AI 训练任务提供无代码 GUI 前端。

版权说明： 本文由用户上传，如有侵权请联系删除！

标签：