
Jay 发自 凹非寺阿里隔热条PA66
量子位 | 公众号 QbitAI
AI华语音乐,终于能听了。
母语欺侮、咬字飘忽、东谈主机味……
莫得。
透顶莫得。
这歌,是我让它以我终点可爱的Jazz Hiphop为灵感,给定歌词,zero-shot生成的。
定名为——《对于小羊》(doge)。
说真话,太灵了。
终点是verse四句歌词伊始阿谁「塞」的咬字,我很少听到AI国语音乐把稳到这个细节,像s、c这种舌前音,其实是终点适用带停顿的俄顷发音来制造律动的。
还有Pre-Hook前bridge收尾阿谁转音,我反复拉了数遍程度条……
虽然,让我惊喜的如故后阿里隔热条PA66 遍Hook。我歌词里明明没写,后果——
它我方疏漏弘扬加了段哼唱??
这《Coco》的收尾也用了这种手法。
另个版块的《对于小羊》我也蛮景象的,大不错边读著述边当bgm挂着。
上头这些音频丢给身边几位音乐发友听了下,得回的评价大多三个字:
很清澈。
说真话,我也曾很久莫得效「清澈」这个词来面孔任何AI歌曲了。
这个清澈的模子阿里隔热条PA66 ,叫歌歌AI。
他们只作念件事——
让AI音乐,听起来像东谈主写的歌。重作念AI音乐模子
听起来挺精真金不怕火对吧。
但为了这句话,他们从预测验了个十亿参数的模子。
端到端那种,用户输入歌词、格调心理描画与指定歌手,模子次径直生成长达3分钟、东谈主声与伴奏俱全的完好意思立体声歌曲,还能同步输出立的东谈主声分轨与伴奏分轨。
我猜你看到「预测验」这三个字的反映,应该和我运行样:
哈?为啥不径直微调??
这事吧,得先从个本体的问题聊起——
为什么往常的AI唱不好华文歌?
当今市面上的主流AI音乐模子,从出身的天起便是为英语准备的。
但汉语的演唱逻辑不同。
1、固定声调。
华文每个字自己带音走势,四声之别,「妈」和「骂」便是不同的两个字。
2、音节边界。
英语里个词可能有多个音节,并且弱读、连读、吞音好多,比如I wanna know,唱起来不错糊成串,也能听懂。
但华文是个字个音节,边界很明晰,旦连得太利害,基本听不懂。
这亦然为什么,YouTube英文播客基本自带字幕,但在华文社区,内嵌字幕是备的。
3、字音对都逻辑。
精真金不怕火来说便是,模子得知谈哪个字落在哪个球拍上,哪个字不错拖,哪个字不可乱拖。
英语是重音计时型言语,个音节不错拉多长都行,所谓;华文歌词和旋律、节拍之间的对应辩论会难把捏。比如不错拖成「~~」,但淌若把「的」「了」「着」这种轻声助词拖得终点长,会巨奇怪。
一言以蔽之便是,基于英语AI音乐模子作念原土化,异于强行让番邦东谈主唱京剧。
后果便是——阿里隔热条PA66
东谈主声机械生硬、厚谊抒发空泛干瘪,对国风、华语流行、民谣等国民主流曲风适配度低。
问题根柢不在参数上。
在架构。
这亦然为什么歌歌AI礼聘从运行,为华语音乐再行野心套时期栈。
主要有三层——双流立生成架构
AI音乐,东谈主声和伴奏是怎样组起来的?
传统AI音乐的作念法是「过后对拍」。东谈主声和伴奏各自生成杀青,再像两个图层样硬叠在起。
断绝作念虽然时期难度低,但总会认为东谈主声和伴奏之间隔了层什么东西。各唱各的,莫得呼吸感。
真东谈主歌手在灌音棚里是什么情景?
他听着伴奏的律动,感受着饱读点的进,然后决定——这个气口落在何处,这个音要怎样咬,这段尾音该收如故该放。
这是个和伴奏「对话」的心流历程。
歌歌AI作念的事情,恰是把种「心流」,搬进了模子里。
原生双流野心——东谈主声条通路,伴奏条通路,各走各的生成链路。两条线并行往下跑,中间通过跨流把稳力机制,及时完成节拍与和声的对都。音素时序软对都
咬字直是个大坑。
模子淌若搞不清每个字在期间轴上的精准位置、发音时长,就会出现音节错位、字音疲塌。听着像嘴里含着糖在唱歌……
普通聊天所谓,音乐是有「节拍」截止的,东谈主耳在这种场景下相等犀利,模子即便每句歌词只消个字没咬对,那便是灾难。
怎样让AI防守踏实的咬字?
歌歌AI的解法是:先画张舆图。
在模子「开嗓」之前,先告诉它每个字的拼音在期间轴上简陋落在哪个位置。这张“舆图”行为先验学问,径直注入到生成历程中。
胶柱调瑟——每个字什么时候起、什么时候落,有这套凹凸文后会踏实好多。分层多维条目戒指
后,亦然我认为能体现他们贪心的。
心理。
亚洲和西洋扫数文化作品(演义、电影、音乐……)的各异,真是都能减轻到个旨趣——厚谊抒发。
老外要直吐胸怀点。情情啥的很普通,歌词本里love you、baby当标点绚丽用。
老中含蓄得多。可爱用料想作念暗意,说蟾光不说念念你,说落叶不说永别,巴拉巴拉。
演唱式一样亦然这种理念的个综合。咱们偏精良的东谈主声处理——华语流行乐坛的黄金时期,从邓丽君到四大天,真是全是这个途径。期间也阐述了,这类格调便是比爵士、福音(gospel)啥的受阛阓宽饶。
但「精良」这个见识,太难了。
音乐是千东谈主千面的。你很难用句当然言语描画,去如斯颗粒度地对都东谈主声的心理。
大学时去过不少次灌音棚,隔热条设备我常能听到这类云里雾里的对话:
悦耳的昆季,唱得再伤感点就好了,但不要太千里了,有空气感点。
???
为了好地翻译这类综合需求,歌歌AI的解法是——套分层多维条目戒指体系。
心理、曲风、调这些全局格调信息,通过个叫AdaLN-Zero的机制,去逐层调制模子的生成步履。从层到后层,心理基调恒久矫捷,不会唱着唱着就「跑调」。
要津的是,他们在不同条目维度上,各自装了立的引强度旋钮。比如你不错让模子「贴紧歌词心理」,同期让「旋律目田弘扬」。
是的,就跟个混音台样。
只不外此次你混的不是音轨,而是心理自己。炸!AI音乐+抖音
聊了这样多时期,你可能会问个问题。
时期确乎看着挺利害。但AI写歌,会员买了,Token也了,然后呢?
确乎,这恰是现时AI音乐赛谈窘态的地。
市面上的AI音乐器用抓大把。你花五分钟作念了歌,认为挺好,发个一又友圈,收货几十个赞——
然后……就莫得然后了。
莫得分发渠谈的AI音乐,本体上仅仅玩物阿里隔热条PA66 ,纯自嗨。
歌歌AI显着不念念只作念个玩物。他们在买卖闭环这件事上,径直找到了张——跟字节卓著签了版权分红作。
是的,你用歌歌AI生成的原创歌曲、灌音成品、MV版权内容,沿途不错规上架抖音、剪映、汽水音乐、西瓜、当天头条……扫数这个词字节系全桶。
什么趣味?
数以亿计的创作家,他们不错径直从歌歌AI的版权曲库里选歌,拿去作念短配乐、直播间BGM、翻唱二创。
AI音乐,不再仅仅躺在云盘上的音频文献。
歌曲在汽水音乐的会员付费、数字辑、单曲售、平台告白分红,以及番茄系平台有播放产生的收益,沿途按照同商定,真金白银地分红结算。
要津的是,后续歌歌AI重生成的非版权曲目,会自动纳入授权曲库。你每多作念歌,这个正版曲库就厚分。
这便是常说的飞轮应。这,是好的传承
好,时期和买卖都讲收场。
后,是这篇著述我念念聊的部分。
「歌歌AI认真启动了民乐属AI模子的研发式样。」
大应该知谈我念念说什么。
我太明晰当今的AI生成的国风音乐是什么口头了——
古筝弹得像电子琴,戏曲能比念稿还令东谈主母语欺侮……
大浩繁AI模子,根柢没听过委果的民乐。它们测验用的素材,大多是从网上扒来的、经过二次加工的电辅音源。骨子里的韵味和灵气,在遍遍电子化的历程中,早就被滤干净了。
这不是个不错通过调参来处理的问题。
测验数据里莫得委果的民乐,模子就长久生成不出委果的民乐。
这亦然为什么,歌歌AI决定我方补上这块数据空白。
他们要去陕西的老戏台找秦腔老艺东谈主、去江南水乡录评弹琵琶、去云南的村寨采葫芦丝和芦笙、去陕北的黄土坡听唢呐……请那些守了辈子的非遗传承东谈主、民间老艺东谈主,在他们熟习的旯旮里开灌音机,录下那些指当然流淌出来的声息。
这些手辘集的原声,沿途会完成正版版权存档,用来测验个委果的民乐AI模子。
说真话,我难以念念象里面在头脑风暴时会是个什么场景。
诶,我有个好主意,要不咱径直去录吧?
对,便是背上灌音机走到黄土坡去。跟《海上钢琴师》里,唱片公司到船上找1900灌音样。
(doge)
不开打趣了,讲讲为什么我对这件事终点有感喟。
传统民乐这些年在的处境,说真话,不太好。
你在街上歪邪拉住个00后,他或者率说不全五种传统民族乐器。再问他,前次听秦腔是什么时候,他可能歪头愣。
这些声息,正在从日常活命中消散。
不是莫得东谈主念念保护它们。有非遗式样,有记载片,有多样各类的文化保护步履。
但传播太难了。
你让个不看记载片、不听戏曲频谈的年青东谈主,主动去讲和秦腔、评弹、葫芦丝,真是不可能。
但这是个庆幸的时期,咱们有AI。
淌若神经网罗的权重记取了这些声息,它就不错把它们融进任何新创作的歌里。
而这些歌,不错纵容生成数十近似的,投放到抖音上。只消有中了,就有可能被千万东谈主刷到,被用来作念短配乐,致使走在路上就意志哼唱出来……
这便是好的传承。
咱们不需要只被供在博物馆里的传承。
歌歌AI官网:https://gegemusic.cn/
— 完 —
量子位 QbitAI · 头条号
表情咱们,期间获知前沿科技动态Q Q:183445502相关词条:离心玻璃棉 塑料挤出机 钢绞线厂家 铝皮保温 pvc管道管件胶
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定阿里隔热条PA66 ,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。
18631662662