全球首个!英伟达发布了一把用于“声音的瑞士军刀”
11月26日讯,全球英伟达近日展示了其最新研发的首个声音士军人工智能模型——Fugatto。
Fugatto是英伟用于一款基于生成式Transformer架构的人工智能模型,其完整版配备了25亿个参数,达发的瑞刀并在由32个NVIDIA H100 Tensor Core GPU组成的布把NVIDIA DGX系统上进行了训练。
这款模型的全球主要功能在于能够修改和生成声音效果,专为音乐、首个声音士军电影和视频游戏制作人设计,英伟用于英伟达将其形象地称为“声音的达发的瑞刀瑞士军刀”。
据NVIDIA应用音频研究经理Rafael Valle透露,布把Fugatto的全球研发初衷是创建一个能够像人类一样理解和生成声音的模型。
它支持多种音频生成和转换任务,首个声音士军是英伟用于首个展示紧急属性的基础生成式AI模型,这得益于其各种训练能力的达发的瑞刀交互以及组合自由格式指令的能力。
Fugatto的布把功能十分强大,能够根据文本描述生成音效和音乐,例如将钢琴演奏转换成人声歌唱,或改变录音的口音和情绪。
对于音乐制作人而言,Fugatto可以帮助他们快速制作原型或编辑歌曲创意,尝试不同的风格、声音和乐器,同时添加效果并提高现有轨道的整体音频质量。
广告代理商则可以利用Fugatto快速定位多个地区或情况的现有广告活动,将不同的口音和情感应用于画外音。
视频游戏开发人员则可以使用该模型修改游戏中预先录制的素材,或根据文本说明和可选的音频输入动态创建新素材。
另外,Fugatto 的新颖性主要体现在以下方面:
首先,在推理过程中,该模型采用了称为ComposableART的技术,能够组合在训练期间只能单独看到的指令。
例如,通过组合提示,可以要求模型以法国口音说出带有悲伤情绪的文本。
此外,该模型在指令之间进行插值的能力使用户能够对文本指令进行精细控制,如重音的沉重程度或悲伤的程度。
其次,Fugatto还能够生成随时间变化的声音,NVIDIA将这一功能称为时间插值。
例如,它可以模拟暴雨穿过区域的声音,雷声逐渐增强,然后慢慢消失在远处。这一功能使用户能够精细地控制音景的演变方式。
最后,与大多数只能重现所接触的训练数据的模型不同,Fugatto允许用户创建以前从未见过的音景。
例如,它可以模拟雷雨随着鸟儿的歌声缓和为黎明的场景。
总而言之,Fugatto凭借其功能多样性和创新性,在音频领域具有广阔的发展空间。
(责任编辑:时尚)
- 加克波本场数据:3脚中目标射门1粒进球,3次过人成功两次
- 2025澳网亚太区外卡赛收官 老将张帅女单夺冠
- Talksport预测阿莫林首秀阵容:阵型3421,安东尼、约罗在列
- 减重20斤!聚勒休赛季1日3训赢得沙欣信任,新赛季场场首发3胜1平
- 范尼执教蓝狐首秀!莱斯特城首发公布:变阵四后卫,瓦尔迪冲锋
- [流言板]表现亮眼!戴维斯全场砍下33分11篮板2抢断1封盖
- 上汽集团11月销售新能源汽车超17.4万辆:全年累计已超100万辆
- 马雷斯卡:库特的辱骂言论是错的 我认为瓦尔迪是英格兰最佳前锋
- 机械师K600G键盘首发299元:弹床式Gasket结构、定制HIFI轴
- [流言板]联盟最强防守组?卡鲁索,霍姆格伦和哈滕在更衣室一起合影
- 北青:伊万今天观看足协杯决赛,11月24日返回克罗地亚休假
- 1亿买不起!维尔茨年仅21岁身价1.3亿,拜仁筹资超1亿&与皇城争抢
- 4am刚才不跳y城,t1很有可能就领先很多了!
- 马雷斯卡:库特的辱骂言论是错的 我认为瓦尔迪是英格兰最佳前锋