論文の概要: Variational Learning Induces Adaptive Label Smoothing

• arxiv url: http://arxiv.org/abs/2502.07273v1
• Date: Tue, 11 Feb 2025 05:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:18.655403
• Title: Variational Learning Induces Adaptive Label Smoothing
• Title（参考訳）: 変分学習による適応ラベル平滑化
• Authors: Sin-Han Yang, Zhedong Liu, Gian Maria Marconi, Mohammad Emtiyaz Khan,
• Abstract要約: 変動学習は,それぞれの例にラベルノイズが特化しているような適応ラベルスムーシングを自然に誘導することを示す。 本稿では、このステップを省略し、変分対象の最適化時に誘導される自然適応性を単純に利用することを提案する。
• 参考スコア（独自算出の注目度）: 12.28704498840976
• License:
• Abstract: We show that variational learning naturally induces an adaptive label smoothing where label noise is specialized for each example. Such label-smoothing is useful to handle examples with labeling errors and distribution shifts, but designing a good adaptivity strategy is not always easy. We propose to skip this step and simply use the natural adaptivity induced during the optimization of a variational objective. We show empirical results where a variational algorithm called IVON outperforms traditional label smoothing and yields adaptivity strategies similar to those of an existing approach. By connecting Bayesian methods to label smoothing, our work provides a new way to handle overconfident predictions.
• Abstract（参考訳）: 変動学習は,それぞれの例にラベルノイズが特化しているような適応ラベルスムーシングを自然に誘導することを示す。 このようなラベルの平滑化は、ラベル付けエラーや分布シフトの例を扱うのに有用であるが、優れた適応戦略を設計することは必ずしも容易ではない。 本稿では、このステップを省略し、変分対象の最適化時に誘導される自然適応性を単純に利用することを提案する。 本稿では,IVONと呼ばれる変分アルゴリズムが従来のラベルの平滑化に優れ,既存手法と同様の適応性戦略を導出する経験的結果を示す。 ベイズ的手法をスムースなラベル付けに結びつけることで、我々の研究は過信の予測を処理する新しい方法を提供する。

関連論文リスト

• Theory-inspired Label Shift Adaptation via Aligned Distribution Mixture [21.494268411607766]
  ADM(Aligned Distribution Mixture)という名称の革新的なラベルシフトフレームワークを提案する。 本フレームワークでは,分類器学習プロセスに修正を加えることで,4つの典型的なラベルシフト手法を改良する。 提案手法の特異性を考慮し,効率的な二段階最適化戦略を開発する。
  論文  参考訳（メタデータ） (2024-11-04T12:51:57Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Task-Adaptive Pseudo Labeling for Transductive Meta-Learning [31.199853949142067]
  本稿では,トランスダクティブメタラーニングのためのタスク適応型擬似ラベリングを提案する。 ラベル付きサポートセットからラベル付きクエリセット用の擬似ラベルをラベル伝搬を介して生成する。 実験により, 提案手法は, 5ウェイ1ショット小ショット分類において, 最先端技術(SOTA)技術より優れていることが示された。
  論文  参考訳（メタデータ） (2023-04-21T15:32:03Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Adaptive Label Smoothing with Self-Knowledge in Natural Language Generation [16.878277421402945]
  平滑化パラメータに動的性質をもたらす正規化スキームを提案する。 トレーニングのモデルは、前方伝播中のハエの平滑化の程度を自己制御する。
  論文  参考訳（メタデータ） (2022-10-22T11:52:38Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation [116.48885692054724]
  半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。 高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。 提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-07T03:37:38Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)
• Learning Soft Labels via Meta Learning [3.4852307714135375]
  シングルホットラベルは概念間のソフトな決定境界を表現していないため、トレーニングされたモデルは過度に適合する傾向にある。 そこで我々は,ラベルを学習可能なパラメータとして扱い,モデルパラメータとともに最適化するフレームワークを提案する。 本研究では, 学習ラベルがクラス間の意味的関係を捉え, 蒸留の下流作業における教師モデルを改善することを示す。
  論文  参考訳（メタデータ） (2020-09-20T18:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。