論文の概要: R\'{e}nyi Divergence Deep Mutual Learning

• arxiv url: http://arxiv.org/abs/2209.05732v1
• Date: Tue, 13 Sep 2022 04:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-14 12:24:10.129376
• Title: R\'{e}nyi Divergence Deep Mutual Learning
• Title（参考訳）: r\'{e}nyiダイバージェンス深層相互学習
• Authors: Weipeng Huang, Junjie Tao, Changbo Deng, Ming Fan, Wenqiang Wan, Qi Xiong, Guangyuan Piao
• Abstract要約: 本稿では,非常に単純だが非常に効果的な計算パラダイムであるDeep Mutual Learning (DML)を再考する。 有効性はその優れた一般化品質に高い相関関係があることを観察する。 我々はR'enyi Divergence Deep Mutual Learning (RDML)を提案する。
• 参考スコア（独自算出の注目度）: 10.357597530261664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper revisits an incredibly simple yet exceedingly effective computing paradigm, Deep Mutual Learning (DML). We observe that the effectiveness correlates highly to its excellent generalization quality. In the paper, we interpret the performance improvement with DML from a novel perspective that it is roughly an approximate Bayesian posterior sampling procedure. This also establishes the foundation for applying the R\'{e}nyi divergence to improve the original DML, as it brings in the variance control of the prior (in the context of DML). Therefore, we propose R\'{e}nyi Divergence Deep Mutual Learning (RDML). Our empirical results represent the advantage of the marriage of DML and the \renyi{} divergence. The flexible control imposed by the R\'{e}nyi divergence is able to further improve DML to learn better generalized models.
• Abstract（参考訳）: 本稿では,非常に単純だが極めて効果的な計算パラダイムであるDeep Mutual Learning (DML)を再考する。 有効性はその優れた一般化品質に高い相関関係があることを観察する。 本稿では,DMLによる性能改善を,ほぼ近似したベイズ後方サンプリング法である,という新たな視点から解釈する。 これはまた、以前の(DMLの文脈における)分散制御をもたらすため、元のDMLを改善するためにR\'{e}nyiの発散を適用する基盤も確立する。 そこで我々はR\'{e}nyi Divergence Deep Mutual Learning (RDML)を提案する。 我々の経験的結果は、DMLと‘renyi{} divergence’の結婚の利点を表している。 R\'{e}nyi divergence によって課される柔軟な制御により、DMLをさらに改善し、より一般化されたモデルを学ぶことができる。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Extension of Transformational Machine Learning: Classification Problems [0.0]
  本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。 メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。 薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-08-07T07:34:18Z)
• Debiasing Conditional Stochastic Optimization [15.901623717313493]
  本稿では,ポートフォリオ選択や強化学習,堅牢な学習など,さまざまな応用をカバーする条件因果最適化(CSO)問題について検討する。 有限変量変量CSO問題に対する新しいアルゴリズムを開発し、既存の結果を大幅に改善する。 我々は,本手法が他の最適化問題と同様の課題に対処するための有用なツールとなる可能性があると考えている。
  論文  参考訳（メタデータ） (2023-04-20T19:19:55Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models [19.07718284287928]
  推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。 本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。 結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
  論文  参考訳（メタデータ） (2020-05-28T13:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。