論文の概要: Learning Dynamics of Logits Debiasing for Long-Tailed Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2608.30699v1
- Date: Mon, 31 Aug 2026 12:38:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.390637
- Title: Learning Dynamics of Logits Debiasing for Long-Tailed Semi-Supervised Learning
- Title（参考訳）: 長期学習型半教師学習におけるロジットデバイアスの学習ダイナミクス
- Abstract要約: 長い尾の分布は、擬似ラベルが多数派を好む実世界の半教師付き学習(SSL)で一般的である。
学習力学のレンズを通してLTSSLを再考し,ロジットの偏りを理論的に評価する。
ラベル付きデータを用いたクラス認識型プルーニングとラベル付きデータによる信頼性ベースのソフトプルーニングにより,勾配予算を再配置する原理に基づく動的プルーニングフレームワークDyTrimを提案する。
- 参考スコア（独自算出の注目度）: 29.880846977690254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-tailed distributions are prevalent in real-world semi-supervised learning (SSL), where pseudo-labels tend to favor majority classes, leading to degraded generalization. While many long-tailed semi-supervised learning (LTSSL) methods have been proposed, the mechanisms by which they implicitly debias logits remain poorly understood. In this work, we revisit LTSSL through the lens of learning dynamics and provide a theoretical characterization of logits debiasing. Specifically, we derive a step-wise decomposition of the logits updates, showing that predictions are dominated by class-imbalance bias that reliably reflects label priors. To expose this effect, we use the logits of a task-irrelevant baseline image as an indicator of accumulated bias and prove that they converge to the class prior. This provides a unified view where LTSSL remedies such as logit adjustment, reweighting, and resampling correspond to reshaping gradient dynamics. Based on this insight, we propose DyTrim, a principle-based dynamic pruning framework that reallocates gradient budget through class-aware pruning on labeled data and confidence-based soft pruning on unlabeled data. We provide theoretical guarantees that DyTrim reduces class bias and improves generalization. Extensive experiments on standard LTSSL benchmarks show consistent gains across architectures and methods. Code available at: https://jiajun0425.github.io/DyTrim
- Abstract（参考訳）: 長い尾の分布は現実世界の半教師付き学習(SSL)で一般的であり、擬似ラベルは多数派を好んでおり、劣化した一般化をもたらす。
長い尾を持つ半教師付き学習法(LTSSL)が数多く提案されているが、それらが暗黙的に認知するメカニズムはいまだに理解されていない。
本研究では,学習力学のレンズを通してLTSSLを再検討し,ロジットの偏りを理論的に評価する。
具体的には、ログの更新を段階的に分解し、ラベルの事前を確実に反映するクラス不均衡バイアスによって予測が支配されることを示す。
この効果を明らかにするために,タスク非関連ベースライン画像のロジットを蓄積バイアスの指標として使用し,それらが事前にクラスに収束していることを証明する。
これは、LTSSLがロジト調整、リウェイト、リサンプリングなどのリメディエーションを、リフォーミング勾配のダイナミクスに対応させる統一的なビューを提供する。
この知見に基づいて、ラベル付きデータを用いたクラス認識プルーニングとラベル付きデータによる信頼に基づくソフトプルーニングにより、勾配予算を再配置する原理に基づく動的プルーニングフレームワークDyTrimを提案する。
我々は、DyTrimがクラスバイアスを減らし、一般化を改善するという理論的保証を提供する。
標準のLTSSLベンチマークに関する大規模な実験は、アーキテクチャやメソッド間で一貫した利得を示している。
https://jiajun0425.github.io/DyTrim
関連論文リスト
- Classification-Head Bias in Class-Level Machine Unlearning: Diagnosis, Mitigation, and Evaluation [0.7991370731695461]
クラスレベルのマシンアンラーニングは、モデルユーティリティを保持しながら、特定のクラスの影響を取り除くことを目的としている。
既存の手法は、保持セット精度、忘れセット精度、未学習時間によって一般に評価される。
我々は,クラスレベルの未学習において,バイアスに支配されるショートカットを明らかにし,最終分類ヘッドの対応するバイアス項を減少させることで,忘れられたクラスの予測を抑えることができる。
論文 参考訳（メタデータ） (2026-05-09T06:33:42Z) - On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD [93.70725920710208]
ラベル雑音による勾配降下の学習力学について検討する。
遅延からリッチな体制への移行を駆動する上で,ラベルノイズが重要な役割を担っていることを強調する。
これらの知見をSAM(Sharpness-Aware Minimization)に拡張し、ラベルノイズSGDを規定する原理がより広範な最適化アルゴリズムにも適用可能であることを示す。
論文 参考訳（メタデータ） (2026-03-11T04:26:54Z) - LCGC: Learning from Consistency Gradient Conflicting for Class-Imbalanced Semi-Supervised Debiasing [7.868824589618853]
理論的には、ベースライン画像の利用が疑似ラベルを洗練させ、黒画像が最良の選択であることを証明できる理由を解析する。
本稿では、偏りのあるクラス予測を奨励することで、グラディエント・コンフリクトから学習するLCGCと呼ばれるデバイアス化手法を提案する。
LCGCは、公開ベンチマーク上で既存のCISSLモデルの予測精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2025-04-09T02:57:53Z) - Sebra: Debiasing Through Self-Guided Bias Ranking [54.09529903433859]
微粒なスプリシティ推定による試料のランク付けは,近年,バイアス緩和に大きく寄与することが示されている。
新たなulSelf-Guided ulBias ulRanking(emphSebra)に基づく脱バイアスフレームワークを提案する。
Sebraは、各クラス内のスプリシティによって、データポイントの自動ランキングを通じてバイアスを緩和する。
論文 参考訳（メタデータ） (2025-01-30T11:31:38Z) - Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。
SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。
TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-09-26T21:50:30Z) - Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It [6.19039575840278]
ラベルスムーシング(LS)はニューラルネットワークをトレーニングするための一般的な正規化手法である。
LSは、正誤予測の不確実なランク順を格下げする。
我々は、ロジトレベルの勾配を分析することによって、この振る舞いを説明する。
論文 参考訳（メタデータ） (2024-03-19T06:46:24Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳（メタデータ） (2022-01-08T07:48:36Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳（メタデータ） (2021-10-22T01:55:01Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳（メタデータ） (2021-10-11T06:29:56Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳（メタデータ） (2020-12-15T07:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。