底部模型的训练经验与分享

前言

最近有小伙伴想学习一下底部模型的制作方案,在这里分享一下妙音的底部模型是如何训练的。

在学习之前你需要了解一下什么是底部模型。

通俗一点说就是相当于一个Ai的核心部分,在rvc中相当于一位“老师”,这个底模越大,“学生”将会越快掌握数据集的数据,效果也会更好。

这里就不做太多的阐述。

无论训练什么底模,都有两种方法,第一种重新训练,第二种微调模型。

对于第一种我并不推荐,这需要很大的数据集(通常50+小时的数据),对于GPU的要求会比较高,成本较高。

第二种在原基础的模型上进行微调,推荐的原因是,此类方法微调的数据通常所需要的数据集不需要很大,并且耗时比较短能得到很好的效果。

如何训练我的底部模型呢?

图片[1]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

下载地址:https://github.com/IAHispano/Applio/releases

Applio 是一款强大的 AI 驱动语音转换工具,可让您创建个性化语音或使用多种预置语音。无论您倾向于本地安装还是通过 Google Colab 进行云端使用,Applio 都设计得高效且易于使用。

下载后点击文件run-install.bat自动安装所需要的库。(需科学上网)

之后点击run-applio.bat即可运行。

图片[2]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

安装后如何训练我们需要的底模呢?

在官方给出的文档中有对这方面的描述,这里我直接引用。

在训练方面,你有两个主要选择:从头开始构建模型或微调一个已有的模型。这些预训练模型旨在简化你的训练过程,节省时间并提高结果的总体质量。

在创建预训练模型时,您有两个主要选项可以考虑。

首先,您可以启动另一个预训练模型的微调过程,这个模型可以是原始模型之一,或者从头开始构建。

如果您选择从头开始构建,理想的方法是收集大量中等程度的清洁数据(50 小时或更多);它不一定需要完美无瑕。随后,使用高质量数据对模型进行微调。

或者,如果你选择微调预训练模型,关键在于音频输入的质量。你可以将其定制为特定语言,包含不同说话者,甚至整合各种口音(10 小时或更多)。定制可能性非常广泛。然而,必须保持平衡;避免过度训练预训练模型。现在微调得越有效,后期使用时所需的训练就越少。

文档:https://docs.applio.org/applio/getting-started/pretrained

我这里基于rvc的底模微调一个模型,点击训练后直接找到训练功能中的高级设置。

图片[3]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

勾选[自定义预训练],会出现G模以及D模型的选择,你可以直接填写RVC_v2中的D模型路径以及G模型路径。又或者你可以直接在导航中找到[下载]页面,下拉到下载[预训练模型下载]这块功能。

图片[4]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

这里需要注意,这里比较推荐Titan,当然你可以选择rvc中的底部模型,它一般在rvc项目中的

assets\pretrained_v2

图片[5]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

前缀带f0的是代表有高音指导的,还需要注意的是采样率 40K以及48K。

比如我要微调一个48k的底部模型。

图片[6]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

我在采样率这样选择48k。

在底部模型的选择上它应该是这样的。

图片[7]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

做到这一步差不多还不够,你还需要用于训练底模的数据集。

图片[8]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

填写你的数据集所在的文件夹路径,这个路径你可以放置许多数据,不单单是单人说话的数据,你应该放置多人说话的数据,你至少需要准备5-15个小时或者更多的数据。在准备数据中,我建议前期你需要做好准备,分割,降噪等前期工作。

图片[9]-底部模型的训练经验与分享 - 妙音-RVC音色模型工坊-妙音-RVC音色模型工坊

当然你可以在抱脸中下载你认为行的数据集,使用已经切割好的数据集。但还是需要考虑数据集部分的降噪。

这里建议你可以是先用少量的数据集尝试,之后陆续在增加实验的进度。

ok,准备好后,你需要陆续点击

[预处理数据集]->[提取特征]->[开始训练]

你会发现这和rvc的训练无区别。

训练完成后你将会在目录中

ApplioV3.2.9\logs\xxxxx

得到

D_2333333.pth以及G_2333333.pth两个底模文件。

这就是微调后的底模型,文件会比rvc的底模都会大,这里考虑是扩展了模型。

如何测试呢?

https://klrvc.com/sybz/2744.html

和上面这篇文章一样,放置rvc模型中,填写新训练的底部模型。

用少量的数据集,如2-3分钟的数据集去测试,看看效果如何。

这就是rvc底模大概的一个训练过程,入不太理解可附上错误信息或者其他信息评论区留言,将会一一解答。

 

最新活动

  1. 开通永久会员享受一次免费专属模型定制,之后定制模型按照五折计算,全场精品模型无限制免费下载。
  2. 开通普通会员全场精品模型每日限量下载,免费模型无限制下载。定制模型按照八折计算。
  3. 模型定制区全面开通,最优惠的价格,响应速度快,模型质量高。模型定制100起,快来定制您的专属模型吧。
© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发

请登录后发表评论

    请登录后查看评论内容