[錬金術師必読] 損失(LOSS)関数曲線の理解方法

喪失とは何か

?

損失はモデルの予測値と実際の値の差を測る関数です。

なぜ私たちはこのことを理解する必要がある

のでしょうか?

モデルのトレーニングをする際、データの質が良好でラウンド数が多いほど最終モデルは良くなると考えがちです。この記事から、あなたの認識は変わるでしょう。

多くのモデルトレーニングツールには、Tensorboardという組み込みツールが付属しています。Tensorboardは、トレーニング中のモデルの進捗を監視するための一連のチャートです。

現在、多くのトレーニングツールはTensorboardに多くのアイコンを持つことが多く、理解が難しいです。次に、RVCの損失曲線を分析して注目します。

使い方

Tensorboard --logdir=logs/xxxxx

設置されていなければ、使用可能です

PIPインストアテンソーボード

アイコンを理解する

1. TensorBoardが動作したら、ウェブブラウザを開き、http://localhost:6006(または端末に表示されるアドレス)へ移動します。

2. TensorBoardの「Scalar」タブをクリックします。

3. 上部にある「g/total」指標を探してトレーニング進捗を監視しましょう。

画像は「スカラー」タブで「g/total」メトリックを見つけるための視覚的なガイドを提供しています。

ちょっとしたトリック

滑らか
• さを0.950または0.987に設定すると、より良いグラフィック表示が得られます。
:
• gear: をクリックすると、30秒ごとにデータをリロードするオプションにタグ付けできます。
• 各チャートの下には3つのボタンがあります。 最初のボタンは最大サイズに拡大し、2つ目はY軸を無効にし、最後のボタンはチャートサイズにデータのサイズを変更します。
• チャートスケーリングで外れ値を無視するオプションをオフにしてください。

最低地点

チャートがある点まで下がると、この状況はなくなります。 トレーニング中にはいくつかの低値が発生しますが、それらをテストしてモデルの指標pthを見つけ出し、オーバートレーニングを防ぐことができます。 どちらを選ぶか決めるために、最も低い地点に行き、そのステップ数を確認します。 これを念頭に置き、このステップでピリオドやセーブポイントに最も近いピリオドを開いたcmdやcolabノートブックで検索できます。

また、

慎重さもあります

損失/g/totalのチェックに加え、損失/g/mel、loss/g/kl、loss/d/totalのチャートも監視する必要があります。 これらの値のいずれかが増加し、再び下がらなければ、それはオーバートレーニングを示しています。 トレーニング開始時はd/totalが増加し、g/totalが減少しますが、これは正常ですが、最終的には安定して減少し始めます。 トレーニング中、すべての指標は減少するか、似たような値の周りで変動するはずです。例えば、Meltuが下降するのではなく上昇し始めた場合、それはモデルが失敗したことを示します。 メルマップは、データセットからメルスペクトルを再現するモデルの精度を示し、音声品質を反映しています。 以下でさらに詳しく説明します

損失条項

損失項はGANトレーニング中に貴重なフィードバックを提供し、生成された合成データの品質と信頼性の向上に寄与します。

これらの損失を一緒に監視することで、トレーニングの進捗を包括的に把握できます。 成功したトレーニングランは通常、ジェネレーターおよび判別器損失の低減と特徴マッチング、メルスペクトルマッピング、KL発散損失の最小化のバランスを取っています。 これは、生成者が実際のデータに似た構造や分布を維持しつつ、ますますリアルな合成データを生成していることを示しています。

最適な値は、特定のタスクやデータセットによって異なります。 しかし、これらの損失項目の傾向を監視することで、トレーニングの進捗をより深く把握し、潜在的な問題を特定できます。

(D) 識別子喪失(loss_disc)。

判別器損失は、判別子が実際のデータサンプルと合成データサンプルを区別する能力を測定します。 これは通常、交差エントロピー損失と呼ばれ、判別子が実サンプルと合成サンプルの誤分類で罰せられる現象です。

判別器損失の減少は、判別器が実際のデータと合成データの区別にますます優れていることを示しています。 これは通常、生成器がより現実的な合成データを生成していることを示す良い兆候です。 しかし、判別器損失が低すぎると、生成器が実際のデータサンプルのみを記憶しており、データの潜在的なパターンを捉える学習を行っていない可能性があります。

(G) 発電機損失(loss_gen)。

ジェネレーター損失は、ジェネレーターが実際のデータと区別が難しい合成データサンプルを生成する能力を測定します。 これは通常、対抗的損失と表現され、判別子によって合成と簡単に分類されるデータを生成することでジェネレーターがペナルティを受けます。

ジェネレーターの損失が減少していることは、ジェネレーターが実際の合成データをうまく生成できるようになったことを示しています。

特徴照合損失(loss_fm)。

特徴照合損失は、生成器が実際のデータに類似した中間特徴表現を持つ合成データを生成することを促します。 これは、実際のデータと合成データに適用した特徴抽出器の中間活性化を比較することで実現されます。

特徴照合損失の減少は、生成器が実際のデータに類似した中間特徴表現を持つ合成データを生成していることを示しています。 これは、生成器が実際のデータの基盤構造を捉える学習を行っていることを示しており、合成データの真正性を向上させるのに役立ちます。

メルスペクトログラム損失(loss_mel)。

マイヤースペクトルパターンにおける実データサンプルと合成データサンプルのメルスペクトル損失比較。 マイヤースペクトルは音声信号の周波数成分を表現する方法であり、この損失によりジェネレーターは実際のデータに似た合成データを生成することを促します。

メルスペ

クトル損失の減少は、発生器が実データに似たスペクトル分布を持つ合成データを生成していることを示しています。 これは特に音声生成作業において重要であり、合成音声が実際の音声に似た音になることを保証します。

クーリヤル発散損失(loss_kl)。

KL発散損失インセンティビティ発生器は、実データに似た現代的な可変分布を持つ合成データを生成します。 潜在変数はデータを生成する可能性のある要因を表します。この損失により、生成器は実際のデータサンプルを記憶するだけでなく、データ内の潜在的なパターンを捉えることも学習できます。

KL発散損失の減少は、生成器が実データに似た潜在的変数分布を持つ合成データを生成していることを示しています。 これは、生成器が実際のデータサンプルを記憶するだけでなく、データの潜在的なパターンを捉えることも学習し、より一般的な合成データを生み出すことを示しています。

追加通知

• 損失/g/総損失:発電機の総損失。 これは、発電機が識別器を騙し、リアルな音声を生成する能力を測定します。 値が低いほど良いです。
• 損失/d/total:識別器の全損失。 この損失は、判別器が実際の音声と生成音声を区別する能力を反映しています。 値が高いほど、識別器の性能は通常良好です。
• learning_rate:ジェネレーターと判別器最適化器の現在の学習率。 この値は通常、時間とともに減少し、学習率スケジューラーによって具体的に定義されます。
• grad_norm_d:判別子の勾配ノルム。 トレーニング中の勾配振幅の測定。 勾配が大きくなりすぎて不安定になるか、小さすぎると学習が遅くなるかを監視するのに役立ちます。
• grad_norm_g:生成元の勾配ノルム。 grad_norm_dと同様に、これは生成器の勾配振幅を測定します。
• 損失/G/FM:機能の整合損失。 この損失により、ジェネレーターは識別器によって抽出された特徴マップに一致する音声を生成することが促され、これにより実際の音声と生成音声の音響特性が類似します。
• 損失/g/mel:メルスペクトラムの損失。 この損失は生成された音声のメルスペクトルとターゲットのメルスペクトルの差を測定します。 値が小さいほどスペクトル特性が一致します。
• 損失/g/kl:カルバック・ライブラー(KL)の発散損失。 この損失はエンコーダと後方エンコーダによって生成される潜在変数の分布の差を測定します。 値が低いほど、これらの分布間の整合性が良くなり、より安定し制御可能なモデルを構築するのに役立ちます。
• 損失/g/{i}:各識別子ごとの個別ジェネレーター損失出力。 これらの損失は、異なる時間スケールにおける発電機のパフォーマンスをより詳細に示すものです。
• 損失/d_r/{i}:各識別器出力における実際の音声の個別損失。 これらの損失は、判別器が異なるスケールで実際の音声でどのように動作するかを示しています。
• 損失/d_g/{i}:各識別器出力で生成される音声の個別判別器損失。 これらの損失は、識別器が生成された音声と実際の音声を異なる時間スケールで区別できる能力を示しています。