2024-07-05 11:01:17

英伟达李曦鹏：黄仁勋认为未来AI模型对推理性能的要求是关注的重点

WAIC大会上，英伟达开发与技术部门亚太区总监李曦鹏表示，黄仁勋每周都会关心推理性能的提升，他认为未来AI模型对推理性能的要求是关注的重点。目前英伟达 TensorRT-LLM是最快的推理解决方案，但是团队也发现了更多推理优化的方式，随着一月一次的迭代，相信很快推理成本会再一次降低。

精彩推荐

全部评论