NVIDIA RTX显卡AI推理提速5倍!RTX PC轻松在本地搞定大模型 事情经过是怎样的?
「NVIDIA RTX显卡AI推理提速5倍!RTX PC轻松在本地搞定大模型」!!!今天受到全网的关注度非常高,那么具体的是什么情况呢,下面大家可以一起来看看事情经过是怎样的!
快科技11月16日消息,正在举行的微软Iginte全球技术大会上,微软发布一系列AI相关的全新优化模型、开发工具资源,帮助开发者更深入地释放硬件性能,拓展AI场景。
尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说,微软这次送上了一份大礼包,无论是面向OpenAI Chat API的TensorRT-LLM封装接口,还是RTX驱动的性能改进DirectML for Llama 2,以及其他热门大语言模型(LLM),都可以在NVIDIA硬件上获得更好的加速和应用。
其中,TensorRT-LLM是一款用于加速LLM推理的库,可大大提升AI推理性能,还在不断更以支持越来越多的语言模型,而且它还是开源的。
就在10月份,NVIDIA也发布了面向Windows平台的TensorRT-LLM,在配备RTX 30/40系列GPU显卡的台式机、笔记本上,只要显存不少于8GB,就可以更轻松地完成要求严苛的AI工作负载。
现在,Tensor RT-LLM for Windows可以通过全新的封装接口,与 OpenAI 广受欢迎的聊天 API 兼容,因此可以在本地直接运行各种相关应用,而不需要连接云端,有利于在 PC 上保留私人和专有数据,防范隐私泄露。
只要是针对TensorRT-LLM优化过的大语言模型,都可以与这一封装接口配合使用,包括Llama 2、Mistral、NV LLM,等等。
对于开发者来说,无需繁琐的代码重写和移植,只需修改一两行代码,就可以让AI应用在本地快速执行。
↑↑↑基于TensorRT-LLM的微软Visual Studio代码插件——Continue.dev编码助手
本月底还会有TensorRT-LLM v0.6.0版本更新,将会在RTX GPU上带来最多达5倍的推理性能提升,并支持更多热门的 LLM,包括全新的70亿参数Mistral、80亿参数Nemotron-3,让台式机和笔记本也能随时、快速、准确地本地运行LLM。
根据实测数据,RTX 4060显卡搭配TenroRT-LLM,推理性能可以跑到每秒319 tokens,相比其他后端的每秒61 tokens提速足足4.2倍。
RTX 4090则可以从每秒tokens加速到每秒829 tokens,提升幅度达2.8倍。
基于强大的硬件性能、丰富的开发生态、广阔的应用场景,NVIDIA RTX正成为本地端侧AI不可或缺的得力助手,而越来越丰富的优化、模型和资源,也在加速AI功能、应用在上亿台RTX PC上的普及。
目前已经有400多个合作伙伴发布了支持RTX GPU加速的AI应用、游戏,而随着模型易用性的不断提高,相信会有越来越多的AIGC功能出现在Windows PC平台上。
以上就是关于【NVIDIA RTX显卡AI推理提速5倍!RTX PC轻松在本地搞定大模型】的相关消息了,希望对大家有所帮助!
免责声明:本文由用户上传,如有侵权请联系删除!
猜你喜欢
- 中国摄像头1月线上销量罕见大涨54.6%!小米第一 断层式领先 事情经过是怎样的?
- 3399元供不应求!一加Ace 3原神刻晴定制机明天首销 事情经过是怎样的?
- 大熊猫福宝将回国!姜爷爷和宋爷爷哭成泪人 事情经过是怎样的?
- 华为P70/P70 Art渲染图对比:尺寸/工业设计差异明显 事情经过是怎样的?
- 亚洲首富之子减肥108公斤后胖回去了:跟新婚妻子合影引围观 事情经过是怎样的?
- 今晚国内油价将迎年内第三涨!加满一箱油将多花6元 事情经过是怎样的?
- 这种小鱼只有10毫米长 声音却比大象还响:滋滋滋像电钻 事情经过是怎样的?
- 3nm工艺!AMD未来APU有名字了:有希望上Zen6 事情经过是怎样的?
- iPhone SE 4外观抢先看!CAD图首曝 苹果手机集体迈入全面屏时代 事情经过是怎样的?
- 让人印象深刻!MWC 2024炫酷新品盘点 事情经过是怎样的?
- 董明珠:不是拿了一个大学文凭就是人才 挣钱不应是大家梦想 事情经过是怎样的?
- 马来西亚官方郑重承诺:尽快恢复搜索马航MH370 事情经过是怎样的?
最新文章
- 拾带重还的意思
- 博大精深的意思
- 理想MEGA 能卖得过宝马X5吗 事情经过是怎样的?
- 工作量大增有快递员辞职!央视评快递新规:实施并不是终点 事情经过是怎样的?
- 女子野生动物园下车:狼悄悄靠近 事情经过是怎样的?
- 手机领域的顶级艺术品 华为Pocket 2艺术定制版树立科技美学新标杆 事情经过是怎样的?
- 曝小米15测试超声波指纹:友商也要跟进小屏旗舰 事情经过是怎样的?
- “翻车”的美国月球着陆器发回“遗照”:几乎不可能再醒来 事情经过是怎样的?
- 中国A级纯电年度销冠!比亚迪元PLUS荣耀版上市:11.98万起 事情经过是怎样的?
- 2024德国小姐选美结束引围观 39岁两娃妈伊朗女性夺魁 事情经过是怎样的?
- 让骗子“原形毕露”!怀疑对方AI换脸可以让对方摁鼻子 事情经过是怎样的?
- 新规后驿站存件量下降20%!快递小哥说打电话太多手机号被封 业务量狂增十几倍 事情经过是怎样的?
- 无可非议的意思
- 爨桂炊玉的意思
- 董明珠回应建议员工跳槽支付培训费:不是对普通跳槽人 事情经过是怎样的?
- 私家变共享!男子偷走备用钥匙 与车主错峰用车:网友看完直呼“人才” 事情经过是怎样的?
- 中国摄像头1月线上销量罕见大涨54.6%!小米第一 断层式领先 事情经过是怎样的?
- 3399元供不应求!一加Ace 3原神刻晴定制机明天首销 事情经过是怎样的?
- 大熊猫福宝将回国!姜爷爷和宋爷爷哭成泪人 事情经过是怎样的?
- 一狐之腋的意思
- 长辔远驭的意思
- 华为P70/P70 Art渲染图对比:尺寸/工业设计差异明显 事情经过是怎样的?
- 亚洲首富之子减肥108公斤后胖回去了:跟新婚妻子合影引围观 事情经过是怎样的?
- 今晚国内油价将迎年内第三涨!加满一箱油将多花6元 事情经过是怎样的?