論文の概要: Robust Semi-supervised Learning via $f$-Divergence and $α$-Rényi Divergence

• arxiv url: http://arxiv.org/abs/2405.00454v1
• Date: Wed, 1 May 2024 11:16:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 15:47:41.676316
• Title: Robust Semi-supervised Learning via $f$-Divergence and $α$-Rényi Divergence
• Title（参考訳）: $f$-divergence と $α$-Rényi Divergence によるロバスト半教師付き学習
• Authors: Gholamali Aminian, Amirhossien Bagheri, Mahyar JafariNodeh, Radmehr Karimian, Mohammad-Hossein Yassaee,
• Abstract要約: 本稿では,セミ教師付き学習における自己学習に適した経験的リスク関数と正規化手法について検討する。 分岐に根ざした理論的基礎、すなわち$f$-divergences と $alpha$-R'enyi divergence に着想を得て、経験的リスク関数と正規化技法の理解を深めるための貴重な洞察を提供する。
• 参考スコア（独自算出の注目度）: 2.9965913883475137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates a range of empirical risk functions and regularization methods suitable for self-training methods in semi-supervised learning. These approaches draw inspiration from various divergence measures, such as $f$-divergences and $\alpha$-R\'enyi divergences. Inspired by the theoretical foundations rooted in divergences, i.e., $f$-divergences and $\alpha$-R\'enyi divergence, we also provide valuable insights to enhance the understanding of our empirical risk functions and regularization techniques. In the pseudo-labeling and entropy minimization techniques as self-training methods for effective semi-supervised learning, the self-training process has some inherent mismatch between the true label and pseudo-label (noisy pseudo-labels) and some of our empirical risk functions are robust, concerning noisy pseudo-labels. Under some conditions, our empirical risk functions demonstrate better performance when compared to traditional self-training methods.
• Abstract（参考訳）: 本稿では,セミ教師付き学習における自己学習に適した経験的リスク関数と正規化手法について検討する。 これらのアプローチは、$f$-divergences や $\alpha$-R\'enyi divergences のような様々な分岐測度から着想を得ている。 分岐に根ざした理論的基礎、すなわち$f$-divergencesと$\alpha$-R\'enyiの分岐に着想を得て、経験的リスク関数と正規化技法の理解を深めるための貴重な洞察を提供する。 効果的な半教師付き学習のための自己学習手法としての擬似ラベルとエントロピーの最小化手法では、自己学習過程は、真のラベルと擬似ラベル(ノイズのある擬似ラベル)の間に固有のミスマッチがあり、我々の経験的リスク関数のいくつかは、ノイズの多い擬似ラベルに関して頑健である。 いくつかの条件下では、従来の自己学習法と比較して、経験的リスク関数はより良い性能を示す。

関連論文リスト

• Neural Active Learning Beyond Bandits [69.99592173038903]
  ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。 ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-18T21:52:14Z)
• Adversarial Robustness on Image Classification with $k$-means [3.5385056709199536]
  我々は、攻撃に対する$k$-meansクラスタリングアルゴリズムの脆弱性を評価し、関連するセキュリティリスクを強調した。 敵シナリオにおけるテスト性能を向上させるための敵訓練手法を導入・評価する。
  論文  参考訳（メタデータ） (2023-12-15T04:51:43Z)
• Risk Consistent Multi-Class Learning from Label Proportions [64.0125322353281]
  本研究は,バッグにトレーニングインスタンスを提供するMCLLP設定によるマルチクラス学習に対処する。 既存のほとんどのMCLLPメソッドは、インスタンスの予測や擬似ラベルの割り当てにバッグワイズな制約を課している。 経験的リスク最小化フレームワークを用いたリスク一貫性手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T03:49:04Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:05:45Z)
• Robust Imitation Learning from Noisy Demonstrations [81.67837507534001]
  我々は,対称的損失を伴う分類リスクを最適化することにより,ロバストな模倣学習を実現することができることを示す。 擬似ラベルと協調学習を効果的に組み合わせた新しい模倣学習法を提案する。 連続制御ベンチマークによる実験結果から,本手法は最先端手法よりも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-10-20T10:41:37Z)
• $f$-GAIL: Learning $f$-Divergence for Generative Adversarial Imitation Learning [29.459037918810143]
  模倣学習は、学習者と専門家の行動の相違を最小限に抑える専門家のデモンストレーションからポリシーを学ぶことを目的としている。 データ効率を向上して、専門家のポリシーをより正確に回復できるような、専門家によるデモンストレーションのセットを考えてください。 本稿では,新たなGAILモデルである$f$-GAILを提案する。
  論文  参考訳（メタデータ） (2020-10-02T21:39:56Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)
• Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-08T08:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。