論文の概要: Learning from Hard Labels with Additional Supervision on Non-Hard-Labeled Classes
- arxiv url: http://arxiv.org/abs/2507.18098v1
- Date: Thu, 24 Jul 2025 05:19:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-25 15:10:42.947157
- Title: Learning from Hard Labels with Additional Supervision on Non-Hard-Labeled Classes
- Title（参考訳）: ハードラベルからの学習 : 非ハードラベル授業における追加指導
- Authors: Kosuke Sugiyama, Masato Uchida,
- Abstract要約: 付加的な監督の不可欠な要素は、非ハードラベルクラスにおける分布の情報であることを示す。
我々は,我々の理論に基づいて,追加の監督を設計することで,分類精度が向上することが実験的に実証された。
- 参考スコア（独自算出の注目度）: 0.276240219662896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In scenarios where training data is limited due to observation costs or data scarcity, enriching the label information associated with each instance becomes crucial for building high-accuracy classification models. In such contexts, it is often feasible to obtain not only hard labels but also {\it additional supervision}, such as the confidences for the hard labels. This setting naturally raises fundamental questions: {\it What kinds of additional supervision are intrinsically beneficial?} And {\it how do they contribute to improved generalization performance?} To address these questions, we propose a theoretical framework that treats both hard labels and additional supervision as probability distributions, and constructs soft labels through their affine combination. Our theoretical analysis reveals that the essential component of additional supervision is not the confidence score of the assigned hard label, but rather the information of the distribution over the non-hard-labeled classes. Moreover, we demonstrate that the additional supervision and the mixing coefficient contribute to the refinement of soft labels in complementary roles. Intuitively, in the probability simplex, the additional supervision determines the direction in which the deterministic distribution representing the hard label should be adjusted toward the true label distribution, while the mixing coefficient controls the step size along that direction. Through generalization error analysis, we theoretically characterize how the additional supervision and its mixing coefficient affect both the convergence rate and asymptotic value of the error bound. Finally, we experimentally demonstrate that, based on our theory, designing additional supervision can lead to improved classification accuracy, even when utilized in a simple manner.
- Abstract（参考訳）: 観測コストやデータ不足によってトレーニングデータが制限されるシナリオでは、各インスタンスに関連するラベル情報を充実させることが、高精度な分類モデルを構築する上で重要である。
このような文脈では、ハードラベルの信頼性など、ハードラベルだけでなく、追加の監督も得ることがしばしば可能である。
この設定は、本質的にどのような追加の監督が有益かという根本的な疑問を自然に提起する。
一般化性能の改善にどのように貢献するのか?
これらの問題に対処するため,我々はハードラベルと追加の監督を確率分布として扱う理論的枠組みを提案し,アフィン結合によってソフトラベルを構築する。
我々の理論的分析は、追加の監督の不可欠な要素は、割り当てられたハードラベルの信頼性スコアではなく、非ハードラベルクラス上の分布の情報であることを示している。
さらに, ソフトラベルの補足的役割における改良に, 追加の監督と混合係数が寄与することが実証された。
直感的には、確率単純度において、混合係数がその方向に沿ってステップサイズを制御する一方で、ハードラベルを表す決定論的分布を真のラベル分布に向けて調整すべき方向を決定する。
一般化誤差解析により、追加の監督係数と混合係数が、誤差境界の収束率と漸近値の両方にどのように影響するかを理論的に特徴づける。
最後に、我々の理論に基づいて、簡単な方法で利用しても、追加の監督を設計することで、分類精度が向上することが実験的に実証された。
関連論文リスト
- Label Distribution Learning with Biased Annotations by Learning Multi-Label Representation [120.97262070068224]
マルチラベル学習(MLL)は,実世界のデータ表現能力に注目されている。
ラベル分布学習(LDL)は正確なラベル分布の収集において課題に直面している。
論文 参考訳（メタデータ） (2025-02-03T09:04:03Z) - Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement [5.865750284677784]
敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワークの堅牢性を得る最も効果的な方法の1つである。
AT法は頑健なオーバーフィッティング、すなわちトレーニング曲線とテスト曲線の間の大きな一般化ギャップに悩まされている。
本稿では,AT のラベルリファインメント手法を提案する。この手法は,高信頼のハードラベルから,より正確かつ情報的なラベル分布を自己定義する。
論文 参考訳（メタデータ） (2024-03-14T04:48:31Z) - Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
補完ラベル学習は、弱教師付き学習問題である。
均一分布仮定に依存しない一貫したアプローチを提案する。
相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
論文 参考訳（メタデータ） (2023-11-27T02:59:17Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly
Supervised Video Anomaly Detection [149.23913018423022]
弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。
2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。
本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-08T05:53:53Z) - How many labelers do you have? A closer look at gold-standard labels [10.637125300701795]
我々は、非集約ラベル情報へのアクセスによって、ゴールドスタンダードラベルよりも、トレーニングの適格化がより実現可能であることを示す。
我々は,非アグリゲートラベルが学習性能を改善することを含む,実世界のデータセットの予測を行う。
論文 参考訳（メタデータ） (2022-06-24T02:33:50Z) - Label Matching Semi-Supervised Object Detection [85.99282969977541]
半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。
ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。
本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-14T05:59:41Z) - Contrastive Regularization for Semi-Supervised Learning [46.020125061295886]
そこで本稿では, ラベルのないデータの特徴量により, 整合正則化の効率性と精度を両立させるために, 対照的な正則化を提案する。
また,提案手法は,ラベルなしデータに分布しないサンプルを含むオープンセット半教師付き学習において,頑健な性能を示す。
論文 参考訳（メタデータ） (2022-01-17T07:20:11Z) - Disentangling Sampling and Labeling Bias for Learning in Large-Output
Spaces [64.23172847182109]
異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。
すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
論文 参考訳（メタデータ） (2021-05-12T15:40:13Z) - Rethinking the Value of Labels for Improving Class-Imbalanced Learning [20.953282288425118]
クラス不均衡学習は、半教師ありと自己教師ありの両方の方法において有益である。
不均衡なラベルは常に役に立ちません。
この結果から,現実的な長期タスクにおける不均衡ラベルの使用を再考する必要性が浮き彫りとなった。
論文 参考訳（メタデータ） (2020-06-13T01:35:58Z) - Structured Prediction with Partial Labelling through the Infimum Loss [85.4940853372503]
弱い監督の目標は、収集コストの安いラベル付け形式のみを使用してモデルを学習できるようにすることである。
これは、各データポイントに対して、実際のものを含むラベルのセットとして、監督がキャストされる不完全なアノテーションの一種です。
本稿では、構造化された予測と、部分的なラベリングを扱うための無限損失の概念に基づく統一的なフレームワークを提供する。
論文 参考訳（メタデータ） (2020-03-02T13:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。