論文の概要: Hard Labels In! Rethinking the Role of Hard Labels in Mitigating Local Semantic Drift

• arxiv url: http://arxiv.org/abs/2512.15647v1
• Date: Wed, 17 Dec 2025 17:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:27.088306
• Title: Hard Labels In! Rethinking the Role of Hard Labels in Mitigating Local Semantic Drift
• Title（参考訳）: 硬いラベル! 硬いラベルの役割を再考する : 局所的なセマンティックドリフトの緩和
• Authors: Jiacheng Cui, Bingkui Tong, Xinyue Bi, Xiaohan Zhao, Jiacheng Liu, Zhiqiang shen,
• Abstract要約: 画像あたりの作物数に制限がある場合、ソフトラベルは局所的なセマンティックドリフトを起こしやすいことを示す。 そこで我々は,ハードラベルを中間補正信号として活用する新たな訓練パラダイムであるHard Label for Alleviating Local Semantic Drift (HALD)を提案する。 本研究は, 補足ツールとしての硬質ラベルの重要性を再確立し, ソフトラベルを主体としたトレーニングにおける硬質ラベルの役割を再考することを目的とする。
• 参考スコア（独自算出の注目度）: 34.88652783901701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft labels generated by teacher models have become a dominant paradigm for knowledge transfer and recent large-scale dataset distillation such as SRe2L, RDED, LPLD, offering richer supervision than conventional hard labels. However, we observe that when only a limited number of crops per image are used, soft labels are prone to local semantic drift: a crop may visually resemble another class, causing its soft embedding to deviate from the ground-truth semantics of the original image. This mismatch between local visual content and global semantic meaning introduces systematic errors and distribution misalignment between training and testing. In this work, we revisit the overlooked role of hard labels and show that, when appropriately integrated, they provide a powerful content-agnostic anchor to calibrate semantic drift. We theoretically characterize the emergence of drift under few soft-label supervision and demonstrate that hybridizing soft and hard labels restores alignment between visual content and semantic supervision. Building on this insight, we propose a new training paradigm, Hard Label for Alleviating Local Semantic Drift (HALD), which leverages hard labels as intermediate corrective signals while retaining the fine-grained advantages of soft labels. Extensive experiments on dataset distillation and large-scale conventional classification benchmarks validate our approach, showing consistent improvements in generalization. On ImageNet-1K, we achieve 42.7% with only 285M storage for soft labels, outperforming prior state-of-the-art LPLD by 9.0%. Our findings re-establish the importance of hard labels as a complementary tool, and call for a rethinking of their role in soft-label-dominated training.
• Abstract（参考訳）: 教師モデルによって生成されたソフトラベルは、知識伝達の主流となり、SRe2L, RDED, LPLDといった最近の大規模データセット蒸留は、従来のハードラベルよりも豊富な監督を提供する。 しかし、画像あたりの作物数に制限がある場合、ソフトラベルは局所的なセマンティックなドリフトを起こす傾向があり、ある作物は視覚的に他のクラスに似ており、そのソフト埋め込みは元の画像の接地的意味論から逸脱する。 この局所的な視覚内容とグローバルな意味のミスマッチは、体系的なエラーと、トレーニングとテストの間の分布のミスアライメントをもたらす。 本研究では,ハードラベルの役割を再考し,適切な統合を行うと,セマンティックドリフトをキャリブレーションするための強力なコンテンツ非依存アンカーが提供されることを示す。 ソフトラベルの監督下での漂流の出現を理論的に特徴付け,ソフトラベルとハードラベルのハイブリッド化が視覚内容と意味的監督の整合を回復することを示す。 この知見に基づいて,ソフトラベルの微細な利点を維持しつつ,ハードラベルを中間補正信号として活用する新たなトレーニングパラダイムであるHard Label for Alleviating Local Semantic Drift (HALD)を提案する。 データセットの蒸留および大規模分類ベンチマークに関する広範囲な実験により、我々のアプローチが検証され、一般化における一貫した改善が示された。 ImageNet-1Kでは、ソフトラベルの285Mストレージで42.7%を達成し、最先端LPLDを9.0%上回った。 本研究は,ハードラベルを補完するツールとしての重要性を再確立し,ソフトラベルを主体としたトレーニングにおけるその役割を再考することを目的とする。

関連論文リスト

• Towards Better IncomLDL: We Are Unaware of Hidden Labels in Advance [68.65348495515258]
  本稿では,実世界の不完全ラベル分布から完全ラベル分布を復元することを目的としたHidLDLを提案する。 ローカルな特徴類似性とグローバルな低ランク構造を同時に利用して,隠されたラベルの謎のベールを明らかにする。
  論文  参考訳（メタデータ） (2025-11-16T08:10:26Z)
• Label Distribution Learning with Biased Annotations by Learning Multi-Label Representation [120.97262070068224]
  マルチラベル学習(MLL)は,実世界のデータ表現能力に注目されている。 ラベル分布学習(LDL)は正確なラベル分布の収集において課題に直面している。
  論文  参考訳（メタデータ） (2025-02-03T09:04:03Z)
• Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations [91.67511167969934]
  imprecise label learning (ILL)は、様々な不正確なラベル構成で学習を統合するためのフレームワークである。 我々は、ILLが部分ラベル学習、半教師付き学習、雑音ラベル学習にシームレスに適応できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T04:50:28Z)
• Beyond Hard Labels: Investigating data label distributions [0.9668407688201357]
  学習の相違を、合成データセットと実世界のデータセットのハードラベルとソフトラベルと比較する。 ソフトラベルの適用により性能が向上し、内部特徴空間のより規則的な構造が得られる。
  論文  参考訳（メタデータ） (2022-07-13T14:25:30Z)
• Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection [93.6222609806278]
  本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。 LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。 LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
  論文  参考訳（メタデータ） (2022-06-10T16:01:58Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)
• Learning Soft Labels via Meta Learning [3.4852307714135375]
  シングルホットラベルは概念間のソフトな決定境界を表現していないため、トレーニングされたモデルは過度に適合する傾向にある。 そこで我々は,ラベルを学習可能なパラメータとして扱い,モデルパラメータとともに最適化するフレームワークを提案する。 本研究では, 学習ラベルがクラス間の意味的関係を捉え, 蒸留の下流作業における教師モデルを改善することを示す。
  論文  参考訳（メタデータ） (2020-09-20T18:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。