論文の概要: Combating the Instability of Mutual Information-based Losses via Regularization

• arxiv url: http://arxiv.org/abs/2011.07932v4
• Date: Sat, 18 Jun 2022 04:01:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 23:57:14.400540
• Title: Combating the Instability of Mutual Information-based Losses via Regularization
• Title（参考訳）: 正規化による相互情報に基づく損失の不安定化
• Authors: Kwanghee Choi and Siyeong Lee
• Abstract要約: 私たちはまず、その不安定性の背後にある症状を特定します。 既存の損失に新たな正規化用語を追加することで、両方の問題を緩和します。 下流タスクにおけるMI推定能力とMI推定能力の両面でMIに基づく損失を評価する新しいベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 7.424262881242935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Notable progress has been made in numerous fields of machine learning based on neural network-driven mutual information (MI) bounds. However, utilizing the conventional MI-based losses is often challenging due to their practical and mathematical limitations. In this work, we first identify the symptoms behind their instability: (1) the neural network not converging even after the loss seemed to converge, and (2) saturating neural network outputs causing the loss to diverge. We mitigate both issues by adding a novel regularization term to the existing losses. We theoretically and experimentally demonstrate that added regularization stabilizes training. Finally, we present a novel benchmark that evaluates MI-based losses on both the MI estimation power and its capability on the downstream tasks, closely following the pre-existing supervised and contrastive learning settings. We evaluate six different MI-based losses and their regularized counterparts on multiple benchmarks to show that our approach is simple yet effective.
• Abstract（参考訳）: ニューラルネットワーク駆動型相互情報(MI)境界に基づく機械学習の多くの分野において、注目すべき進歩がなされている。 しかし,従来のmiベース損失の活用は,その実用的・数学的限界から困難であることが多い。 本研究では,(1)損失が収束した後でも収束しないニューラルネットワーク,(2)損失を発生させるニューラルネットワーク出力の飽和,という不安定性の背後にある症状を明らかにする。 既存の損失に新たな正規化用語を追加することで、両方の問題を緩和します。 正規化の付加がトレーニングを安定させることを理論的および実験的に実証する。 最後に、MI推定能力と下流タスクの能力の両方に対するMIに基づく損失を、既存の教師付きおよびコントラスト付き学習設定に忠実に追従して評価する新しいベンチマークを提案する。 我々は、複数のベンチマークで6つの異なるmiベース損失とその正規化比較を評価し、我々のアプローチが単純かつ効果的であることを示す。

関連論文リスト

• Enhancing the "Immunity" of Mixture-of-Experts Networks for Adversarial Defense [6.3712912872409415]
  近年の研究では、敵対的な例に対するディープニューラルネットワーク(DNN)の脆弱性が明らかにされている。 そこで我々は,Mixture-of-Experts (MoE) アーキテクチャを改良した新たな敵防御手法 "Immunity" を提案する。
  論文  参考訳（メタデータ） (2024-02-29T01:27:38Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Estimation of individual causal effects in network setup for multiple treatments [4.53340898566495]
  個別治療効果 (ITE) の推定問題について, 複数の治療と観察データを用いて検討した。 我々は、共同創設者の共有表現を学ぶために、Graph Convolutional Networks(GCN)を採用しています。 アプローチでは、個別のニューラルネットワークを使用して、各治療の潜在的な結果を推測する。
  論文  参考訳（メタデータ） (2023-12-18T06:07:45Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• SuSana Distancia is all you need: Enforcing class separability in metric learning via two novel distance-based loss functions for few-shot image classification [0.9236074230806579]
  本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。 以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
  論文  参考訳（メタデータ） (2023-05-15T23:12:09Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。