論文の概要: Label Smoothing is a Pragmatic Information Bottleneck

• arxiv url: http://arxiv.org/abs/2508.14077v1
• Date: Tue, 12 Aug 2025 14:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.161504
• Title: Label Smoothing is a Pragmatic Information Bottleneck
• Title（参考訳）: Label Smoothingは実用的情報基盤
• Authors: Sota Kudo,
• Abstract要約: 本研究は,情報ボトルネックの形でラベルスムーシングを再考する。 十分なモデルフレキシビリティを仮定し、同じ入力に対して競合するラベルが存在しないことを仮定し、ラベルスムーシングによって得られたモデル出力が情報のボトルネックの最適解を探索することを示した。 情報ボトルネック法として,ラベルの平滑化は,対象に関する情報を含まない要因や,他の変数に条件付けした場合に追加情報を提供しない要因に対して,非感受性を示すことも実験的に示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study revisits label smoothing via a form of information bottleneck. Under the assumption of sufficient model flexibility and no conflicting labels for the same input, we theoretically and experimentally demonstrate that the model output obtained through label smoothing explores the optimal solution of the information bottleneck. Based on this, label smoothing can be interpreted as a practical approach to the information bottleneck, enabling simple implementation. As an information bottleneck method, we experimentally show that label smoothing also exhibits the property of being insensitive to factors that do not contain information about the target, or to factors that provide no additional information about it when conditioned on another variable.
• Abstract（参考訳）: 本研究は,情報ボトルネックの形でラベルスムーシングを再考する。 同じ入力に対して十分なモデル柔軟性と矛盾しないラベルを仮定し,ラベル平滑化により得られたモデル出力が情報ボトルネックの最適解を探索することを理論的および実験的に実証した。 これに基づいて、ラベルの平滑化は情報ボトルネックに対する実践的なアプローチとして解釈できるため、簡単な実装が可能となる。 情報ボトルネック法として,ラベルの平滑化は,対象に関する情報を含まない要因や,他の変数に条件付けした場合に追加情報を提供しない要因に対して,非感受性を示すことも実験的に示す。

関連論文リスト

• Reduction-based Pseudo-label Generation for Instance-dependent Partial Label Learning [41.345794038968776]
  本稿では,誤り候補ラベルの影響を軽減するために,リダクションに基づく擬似ラベルを活用することを提案する。 推定モデルから生成した擬似ラベルと比較して,減算に基づく擬似ラベルはベイズ最適分類器との整合性が高いことを示す。
  論文  参考訳（メタデータ） (2024-10-28T07:32:20Z)
• You can't handle the (dirty) truth: Data-centric insights improve pseudo-labeling [60.27812493442062]
  擬似ラベル法を改善するためにラベル付きデータ品質を調査することが重要であることを示す。 具体的には、擬似ラベルの拡張のために、DIPSと呼ばれる新しいデータキャラクタリゼーションと選択フレームワークを導入する。 本研究では,多種多様な実世界のデータセットを対象とした擬似ラベル手法に対するDIPSの適用性と影響を実証する。
  論文  参考訳（メタデータ） (2024-06-19T17:58:40Z)
• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations [91.67511167969934]
  imprecise label learning (ILL)は、様々な不正確なラベル構成で学習を統合するためのフレームワークである。 我々は、ILLが部分ラベル学習、半教師付き学習、雑音ラベル学習にシームレスに適応できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T04:50:28Z)
• Label Information Bottleneck for Label Enhancement [12.783783498844016]
  ラベルエンハンスメント(LE)のための新しいラベル情報ボトルネック(LIB)法を提案する。 本手法はLE問題を,1)本質的なラベル関連情報を用いて表現を学習すること,2)学習した表現に基づいてラベル分布を復元すること,の2つの共同プロセスとして定式化する。 本手法では,ラベル割り当てに関するラベル関連情報とラベルギャップに関するラベル関連情報の両方を探索することができる。
  論文  参考訳（メタデータ） (2023-03-13T03:46:37Z)
• Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study [59.95267695402516]
  本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。