論文の概要: Addressing Label Shift in Distributed Learning via Entropy Regularization

• arxiv url: http://arxiv.org/abs/2502.02544v1
• Date: Tue, 04 Feb 2025 18:14:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:38.866858
• Title: Addressing Label Shift in Distributed Learning via Entropy Regularization
• Title（参考訳）: エントロピー規則化による分散学習におけるラベルシフトへの対応
• Authors: Zhiyuan Wu, Changkyu Choi, Xiangcheng Cao, Volkan Cevher, Ali Ramezani-Kebrya,
• Abstract要約: マルチノード分散学習における真のリスクを最小限に抑えるという課題に対処する。 本稿では,テスト・ツー・トレインのラベル密度比の最大推定量を向上させるVersatile Robust Label Shift (VRLS)法を提案する。
• 参考スコア（独自算出の注目度）: 45.25670338948615
• License:
• Abstract: We address the challenge of minimizing true risk in multi-node distributed learning. These systems are frequently exposed to both inter-node and intra-node label shifts, which present a critical obstacle to effectively optimizing model performance while ensuring that data remains confined to each node. To tackle this, we propose the Versatile Robust Label Shift (VRLS) method, which enhances the maximum likelihood estimation of the test-to-train label density ratio. VRLS incorporates Shannon entropy-based regularization and adjusts the density ratio during training to better handle label shifts at the test time. In multi-node learning environments, VRLS further extends its capabilities by learning and adapting density ratios across nodes, effectively mitigating label shifts and improving overall model performance. Experiments conducted on MNIST, Fashion MNIST, and CIFAR-10 demonstrate the effectiveness of VRLS, outperforming baselines by up to 20% in imbalanced settings. These results highlight the significant improvements VRLS offers in addressing label shifts. Our theoretical analysis further supports this by establishing high-probability bounds on estimation errors.
• Abstract（参考訳）: マルチノード分散学習における真のリスクを最小限に抑えるという課題に対処する。 これらのシステムは、ノード間のラベルシフトとノード間のラベルシフトの両方に頻繁に晒されるため、各ノードに制限されたデータを維持するとともに、モデル性能を効果的に最適化する上で重要な障害となる。 そこで本研究では,テスト・ツー・トレインのラベル密度比を最大で推定するVersatile Robust Label Shift (VRLS)法を提案する。 VRLSはシャノンエントロピーベースの正規化を導入し、トレーニング中に密度比を調整し、テスト時のラベルシフトをよりよく処理する。 マルチノード学習環境において、VRLSは、ノード間の密度比を学習し、適応することにより、その能力をさらに拡張し、ラベルシフトを効果的に軽減し、全体的なモデルパフォーマンスを向上させる。 MNIST、Fashion MNIST、CIFAR-10で行った実験は、VRLSの有効性を示し、不均衡な環境ではベースラインを最大20%上回った。 これらの結果は、ラベルシフトに対処する上でVRLSがもたらす重要な改善を浮き彫りにする。 我々の理論解析は、推定誤差の高確率境界を確立することによって、さらにこれを裏付ける。

関連論文リスト

• Knowledge Distillation and Enhanced Subdomain Adaptation Using Graph Convolutional Network for Resource-Constrained Bearing Fault Diagnosis [0.0]
  複雑な教師モデルからコンパクトで効率的な学生モデルに知識を伝達する進歩的知識蒸留フレームワークを提案する。 再生ケルネルヒルベルト空間(RKHS)における平均および分散統計を利用してラベル間の事前確率分布を組み込むELMMSD(Enhanced Local Maximum Mean Squared Discrepancy)を導入する。
  論文  参考訳（メタデータ） (2025-01-13T10:05:47Z)
• On the Improvement of Generalization and Stability of Forward-Only Learning via Neural Polarization [7.345136916791223]
  Forward-Forward Algorithm (FFA) は、一般化と複雑性の観点から、競争性能のレベルを達成することが示されている。 本稿では、ニューラル除算を導入して元の定式化を拡張するPola-FFAと呼ばれる新しいFFAアルゴリズムの実装を提案する。 以上の結果から,Polar-FFAはFFAよりも精度と収束速度が優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-17T14:32:18Z)
• Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
  半教師付き学習アルゴリズムは、不均衡なトレーニングデータに晒された場合、うまく機能しない。 Validation Data(SEVAL)に基づく擬似ラベル最適化によるセミ教師あり学習について紹介する。 SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
  論文  参考訳（メタデータ） (2024-07-07T13:46:22Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Class Prior-Free Positive-Unlabeled Learning with Taylor Variational Loss for Hyperspectral Remote Sensing Imagery [12.54504113062557]
  高スペクトルリモートセンシング画像(HSI)における正非ラベル学習(PU学習)は、正および未ラベルのデータから二値分類器を学習することを目的としている。 本稿では,HSI PU学習におけるテイラー変分損失を提案する。 7つのベンチマークデータセット(合計21タスク)の実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2023-08-29T07:29:30Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。