論文の概要: R\'{e}nyi Divergence Deep Mutual Learning
- arxiv url: http://arxiv.org/abs/2209.05732v2
- Date: Wed, 14 Sep 2022 06:28:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-15 11:05:58.695529
- Title: R\'{e}nyi Divergence Deep Mutual Learning
- Title(参考訳): r\'{e}nyiダイバージェンス深層相互学習
- Authors: Weipeng Huang, Junjie Tao, Changbo Deng, Ming Fan, Wenqiang Wan, Qi
Xiong, Guangyuan Piao
- Abstract要約: 本稿では,非常に単純だが非常に効果的な計算パラダイムであるDeep Mutual Learning (DML)を再考する。
有効性はその優れた一般化品質に高い相関関係があることを観察する。
我々はR'enyi Divergence Deep Mutual Learning (RDML)を提案する。
- 参考スコア(独自算出の注目度): 10.357597530261664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper revisits an incredibly simple yet exceedingly effective computing
paradigm, Deep Mutual Learning (DML). We observe that the effectiveness
correlates highly to its excellent generalization quality. In the paper, we
interpret the performance improvement with DML from a novel perspective that it
is roughly an approximate Bayesian posterior sampling procedure. This also
establishes the foundation for applying the R\'{e}nyi divergence to improve the
original DML, as it brings in the variance control of the prior (in the context
of DML). Therefore, we propose R\'{e}nyi Divergence Deep Mutual Learning
(RDML). Our empirical results represent the advantage of the marriage of DML
and the \renyi{} divergence. The flexible control imposed by the R\'{e}nyi
divergence is able to further improve DML to learn better generalized models.
- Abstract(参考訳): 本稿では,非常に単純だが極めて効果的な計算パラダイムであるDeep Mutual Learning (DML)を再考する。
有効性はその優れた一般化品質に高い相関関係があることを観察する。
本稿では,DMLによる性能改善を,ほぼ近似したベイズ後方サンプリング法である,という新たな視点から解釈する。
これはまた、以前の(DMLの文脈における)分散制御をもたらすため、元のDMLを改善するためにR\'{e}nyiの発散を適用する基盤も確立する。
そこで我々はR\'{e}nyi Divergence Deep Mutual Learning (RDML)を提案する。
我々の経験的結果は、DMLと‘renyi{} divergence’の結婚の利点を表している。
R\'{e}nyi divergence によって課される柔軟な制御により、DMLをさらに改善し、より一般化されたモデルを学ぶことができる。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Globally Convergent Accelerated Algorithms for Multilinear Sparse
Logistic Regression with $\ell_0$-constraints [2.323238724742687]
多重線形ロジスティック回帰は多次元データ解析の強力なツールである。
本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。
また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
論文 参考訳(メタデータ) (2023-09-17T11:05:08Z) - Faster Stochastic Variance Reduction Methods for Compositional MiniMax
Optimization [50.10952609321302]
合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。
構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。
本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-18T14:57:21Z) - Extension of Transformational Machine Learning: Classification Problems [0.0]
本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。
メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。
薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-08-07T07:34:18Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。
本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。
我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
論文 参考訳(メタデータ) (2022-06-22T00:33:04Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Convergence of Meta-Learning with Task-Specific Adaptation over Partial
Parameters [152.03852111442114]
モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。
本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
論文 参考訳(メタデータ) (2020-06-16T19:57:48Z) - Stochastic Proximal Gradient Algorithm with Minibatches. Application to
Large Scale Learning Models [2.384873896423002]
非滑らかな成分を持つ汎用合成対象関数に対する勾配アルゴリズムのミニバッチ変種を開発し解析する。
我々は、最小バッチサイズ$N$に対して、$mathcalO(frac1Nepsilon)$$epsilon-$subityが最適解に期待される二次距離で達成されるような、定数および変数のステップサイズ反復ポリシーの複雑さを提供する。
論文 参考訳(メタデータ) (2020-03-30T10:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。