更新时间:2025-07-11 05:59:43点击: 61
【雷峰网(公众号:雷峰网)】雨果曾经说过:“开启人类智慧宝库的揭秘三把钥匙,即数字、中国字母、音乐音符。模型”
音乐早已成为人类表达情感的揭秘最佳载体。
但音乐创作是中国一件门槛很高的事情,因为音乐创作不是音乐某一个人的独角戏,而一个团队高度协作的模型过程。从作词、揭秘作曲到编曲、中国混音,音乐再到歌曲录制,模型每个环节都需要专业音乐人付出努力,揭秘并伴随着高昂的中国成本投入。
但试想一下,音乐如果有一天,我们只需手指点一点就能创作歌曲,那将会发生什么?
这种猜想在2023年,随着大模型爆火一步步发酵:
2023年,一场由“AI歌手”引领的翻唱热潮席卷网络,诸如孙燕姿、陈奕迅、林俊杰等众多华语乐坛巨星纷纷拥有了属于自己的AI替身,各个网络平台变成“AI歌手复出演唱会”的现场。这一切的背后,是So-vits Svc AI音乐生成工艺的应用。这项工艺通过解析少量音频片段,就能精确模拟目标歌手的独特音色,尽管在捕捉歌手的个性化唱腔特点、演唱技法及个人风格等方面尚存差距,但它近乎实现1:1的音色还原,也激发了一场全民音乐创作浪潮。
自今年3月以来,随着Suno V3和Udio发布,这股音乐创作热潮被再次点燃。这次我们不仅可以翻唱某位歌手的歌曲,还可以通过输入几句歌词和音乐风格,就能获得两首时长约两分钟的完整歌曲。这种突破性的工艺创新,被业界视为真正意义上拉低了音乐创作门槛,让更多人能够参与到音乐创作中。
短短一年多时间,从So-vits Svc到OpenAI的MuseNet、谷歌的MusicLM、Meta的MusicGen,再到SunoV3和Udio,大模型工艺不断重塑音乐创作领域。
可以看到,从克隆音色的“AI歌手”,到生成完整歌曲的Suno,AI音乐生成工艺正在不断飞跃。只可惜,这些产物距离生成高品质且类型丰富的歌曲还有段距离。特别在中文歌曲领域,一直没有一款符合中国人音乐审美的AI音乐生成大模型。
直到昨天,昆仑万维发布全球最大规模的开源MOE大模型「天工3.0」,并基于它打造了国内目前唯一公开可用的AI音乐生成大模型「天工SkyMusic」。这款音乐大模型在人声&BGM音质、人声自然度、发音可懂度等性能方面,以6.65分的综合得分超越Suno V3,成为中国首个音乐AIGC SOTA(state of the art,领域最佳水准)模型。
那么天工SkyMusic是如何成为中国首个音乐AIGC SOTA模型?它的实际体验如何呢?下面我们一起来看一下。
打开天工 APP,点击音乐板块,输入歌名和歌词,选择你想要参考的歌曲,再点击生成音乐,即可获得由你创作的歌曲。这就是「天工SkyMusic」简化而高效的音乐创作全过程。
这种参考音乐生成能力,也是「天工SkyMusic」的一大亮点。客户既可以上传自己喜欢的歌曲作为模板,也可以从「天工SkyMusic」庞大的信息库中挑选合适的参照曲目,系统将据此生成风格相近、嗓音神似的全新作品。这一特性显著降低了音乐创作的工艺门槛,使得即便是缺乏专业音乐素养的普通客户也能参与音乐创作,享受创作音乐的乐趣。
利用「天工SkyMusic」,我们制作了两首风格迥异的《乘鹤》:
再输入一首耳熟能详的英文童谣《小星星》,将它改编成摇滚风格和抒情男声版本,也算是对童年的独特回忆:
在创作中我们发现,「天工SkyMusic」涵盖了说唱、民谣、放克、古风、电子等多种曲风。下一步,团队还计划让客户根据哼出来的旋律生成歌曲。同时相比SunoV3等海外同类产物,「天工SkyMusic」创作的歌曲在中文人声细腻度和可识别度上表现更优秀,还能运用颤音、吟唱、男女对唱、自动和声等技巧。
再来一首《明天不上班》,庆祝一下即将到来的星期五。
这首歌也完美展示了「天工SkyMusic」相较Suno的核心体验优势——方言歌曲生成能力,即让客户能自如地利用四川话、粤语、北京话等多种方言演唱歌曲,极大丰富了客户的音乐创作空间。
如此卓越的AI音乐生成模型,为什么才出现呢?究其原因,是因为处理音乐信息比处理图像和影片信息更复杂。音乐作为一种长时序的工艺形式,每秒内包含数万个相互紧密关联的采样点,这种内在的复杂性使它成为最复杂的模态之一。加之音乐中融合了歌词、人声及旋律等多种信息层次,每层之下又包含海量的信息,这意味在处理音乐时,不仅要构建精确的时间序列模型,还要综合考虑声波形态、频率特性、节奏结构等诸多要素。
不过随着AI大模型工艺的不断演进,已经找到两种驾驭音乐复杂性质的有效策略,这也构成了AI音乐生成大模型的两大工艺路径:符号音乐生成路线、大模型音乐音频生成路线。
符号音乐生成路线,是通过标注大量乐谱信息再训练模型,这条路线在学术界已有广泛研究,但它最终生成的是乐谱,借助其他程序或工具转化成可观看的音乐,而且实际效果并不尽如人意。
大模型音乐音频生成路线则是涵盖乐器、人声、旋律、音量和音符等音乐元素的端到端一体化生成,最终生成的是可听的音频文件。但代价是需要巨大的研发资源投入和对大规模训练信息集的依赖。即便如Google、OpenAI等行业巨头,也尚未取得重大突破。
此外,AI对人声演唱真实感的模拟也是至关关键的研究课题。但过去的AI音乐工艺主要聚焦于无人声演唱的背景音乐(BGM)创作,对人声演唱的Song领域一直缺少有效的解决方案。
「天工SkyMusic」在立项之初,昆仑万维就面临着这两项艰难的选择。最终,研发团队一致决定选择大模型音乐音频生成路线并攻坚人声Song领域。这意味着昆仑万维将在几乎没有任何开源可借鉴的情况下,正式挺进AI音乐生成工艺的两个无人区,难度可想而知。
经历多次实验探索,研发团队意识到DiT结构与AI音乐生成大模型的深度兼容性,并坚定地朝这个方向投入,最终自主研发出适用于音乐音频领域的类Sora模型架构,填补了行业在工艺路线以及人声演唱领域的工艺空白。这套架构包含三大核心模块——Encoder、DiT(Diffusion Transformer)和Decoder。其中,Large-scale Transformer 负责谱曲,学习 Music Patches 的上下文依赖关系,同时完成音乐可控性;Diffusion Transformer 负责演唱,通过LDM让Music Patches被还原成高质量音频。
同时为训练「天工SkyMusic」,昆仑万维建立了迄今为止全球最大的音乐信息集,包含了两千余万首歌曲样本,确保了「天工SkyMusic」在音乐风格上精准可控和广泛适用。
如此,「天工SkyMusic」降低了音乐创作的准入门槛,让音乐创作不再存在专业壁垒。真正意义上拉近了音乐创作与普通大众的距离,推动了AIGC产业向前迈进了。同时昆仑万维还主动公开了「天工SkyMusic」的工艺原理图,为全球开源社区和开发者提供了可参考的案例,促进全球AIGC工艺生态的共建共享。
「天工SkyMusic」的成功离不开背后的工艺底座「天工 3.0」。昆仑万维董事长兼CEO方汉表示:“文本大模型是所有AIGC坚实的基础。所有的社交、游戏、音乐专属模型都是需要文本大模型去支撑的。”当前,无论是GPT模型、GLM模型还是Baichuan模型,都是采用底层文本大模型与专业细分大模型相结合的方式。
昆仑万维发布的「天工 3.0」拥有高达4000亿参数,性能全面超越3140亿参数的MoE大模型Grok1(xAI),是迄今全球最大规模的开源MoE大模型,也是昆仑万维旗下所有AI工艺应用模型的基石。
相较于上一代,「天工 3.0」在模型语义理解、逻辑推理以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升,其工艺知识能力提升超过20%,数学 / 推理 / 代码 / 文创能力提升超过 30%。
同时作为多模态大模型,「天工 3.0」集成了AI搜索、AI写作、AI长文本阅读、AI图片生成、AI音乐生成等功能。在权威评测MMBench-CN的评估中,「天工3.0」的AR(属性推理)、RR(关系推理)、FP-C(细粒度感知-交叉实例)、CP(粗略感知)四项性能均位列榜首,整体综合成绩更超越GPT-4V,稳居全球多模态大模型首位。
基于性能与能力的全方位跃升,「天工3.0」还掌握了至关关键的独立思考能力。这使得它能够在多轮搜索与综合工具调用、图表绘制、研究模式、增强模式、改图扩图等多项能力上,为客户提供前所未有的AI应用体验。
「天工3.0」拥有很强的逻辑推理能力:
「天工3.0」还能够更好地理解和处理客户自然语言Query中的复杂语义信息,包括隐喻、多义词等。例如最近爆火的“成都迪士尼”,我们问了天工大模型,它不仅可以精确地解释这一网络热梗。还会通过追问,为我们规划行程或给到近期的游客反馈。
在面对产业研究、产物横评、信息分析、图片生成、图表绘制等复杂需求时,「天工3.0」能同时展示多种能力,控制模型去完成任务。
在执行“查询南非国家2023年的人均GDP,并制作成柱状图”一任务过程中,「天工3.0」率先调用了搜索功能,再调用python工具绘制柱状图,最后加以解读和总结,给出了正确的答案和全面分析:
「天工3.0」先通过语义理解对客户需求进行深度理解,再通过逻辑推理能力将复杂的任务拆解成细分环节,最后通过独立规划以及调用、组合外部工具及信息,将细分环节发到不同模型,从而精准高效的完成这类复杂需求。
内容创作能力一直是「天工」系列大模型的强项,在上一代「天工2.0」大模型的基础上,「天工3.0」更是进行了全面的内容创作能力升级,其不仅能实现AI音乐生成、AI语音、AI对话、AI二次元漫画生成等强大的内容创作能力,更是通过专项Agent训练实现了在对话中结合文本需求实时生成图片、结合文本需求实时内容分析及图表构建等能力。
让「天工3.0」分析小米SU7跟蔚来ET5哪款车更好:
可以看到在如上述这种产物对比的复杂需求中, 「天工3.0」可以根据需求,实时内容分析并构建图表来让结果呈现更明晰。
通过「天工3.0」和「天工SkyMusic」的发布,我们可以看到,昆仑万维“All in AGI 与 AIGC”的战略并不是停留于理论的口号,而是真切指引着昆仑万维在工艺和商业模式上的每一处布局。依托“天工大模型”这一工艺基石,昆仑万维已规划出包含AI大模型、AI搜索、AI音乐、AI社交、AI游戏和AI影片在内的六大AI业务矩阵,并着力整合这六大板块,构筑一个集成式的AI UGC平台。
“昆仑万维认为下一代的AI巨头一定是C端加上免费,因为互联网时代和移动互联网时代的成功企业均采用免费加C端模式,而在AI时代,我们同样坚信这一逻辑。”方汉表示。
由于大模型每次提供支持都需要耗费推理资源,为了实现免费toC模式,方汉总结出产业的三条路径:“第一条,通过持续优化,将推理成本降低至客户创造的广告价值之下;第二条,通过AI手机实现端侧推理,将推理成本分摊至终端硬件中。第三条,建立AI UGC平台,由1%的客户创造内容,99%的客户消费内容。”
这三条路径并不互相矛盾,只是分属于产业的不同阶段。比如,方汉判断,在AI终端硬件大面积普及之前,AI UGC平台落地会更快速形成商业闭环,但大模型的终局一定是终端AI。
不论是「天工SkyMusic」,还是其他核心AI业务,皆遵循这一商业逻辑。即通过AI工艺赋能,降低创作门槛,持续扩大内容创作者群体,以此提升个性化内容的生产量与丰富度,从而满足了大众对于优质内容的消费需求,形成正向投资回报率的良性循环。
同时昆仑万维也将运用AI工艺打破传统内容创作壁垒,让不同文化和语言群体都能够在这一AI UGC平台上轻松传达自身的故事与情感,促进全球范围内实现文化平权。
在推进AI UGC平台建设的过程中,昆仑万维坚持工艺创新与商业模式创新相结合,积极探索适合当下及未来市场的增长路径。昆仑万维正全力践行“All in AGI 与 AIGC”,力争在全球范围内构建一个包容性强、参与度广、创新能力出众的AI内容生态,引领行业迈向一个崭新的时代。
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
AI 迈进深水区,谈落地、谁能带来新解法?
抖音与多部门发起“反诈联盟志愿者在行动”,魏哲鸣唱响反诈单曲
2D变3D,电影之城邀你“入画”
《长安的荔枝》定档6月7日 打开另类古代职场视角
大模型「点火」,AI for Science 提速
抖音精品喜剧系列短剧全数上线,喜人卡司领衔主演笑点无限
周杰伦入驻抖音取名周同学,平台否认9位数签约费
会员积分兑、星钻免费看 《临江仙》加更礼怎么看更划算?
美图视觉大模型3.0:让设计师做甲方
男演员身份证照片引热议,证件照怎样拍才规范?
官方:“医保‘个人账户’将全部取消”系旧谣新传
2025年电影票房破300亿
国务院任免国家工作人员
航拍洛杉矶一隧道坍塌致15人被困 塌方疑损毁通信线路与被困者断联
杨维林任公安部副部长,陈思源、孙茂利卸任
2025年电影票房破300亿
聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕
中国商务部出手,它们还说“没影响”?