論文の概要: Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets
- arxiv url: http://arxiv.org/abs/2606.29837v1
- Date: Mon, 29 Jun 2026 06:24:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.081319
- Title: Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets
- Title（参考訳）: ロバストな軌道蒸留:教師にインスパイアされたターゲットとハイブリッドリウェイト
- Abstract要約: 本稿では,ノイズを共同で抑制し,伝達可能な知識を残さずに保持するトラジェクトリベースのDDフレームワークを提案する。
SGR(Selective Guidance Reweighting)とTIAT(Teacher-Inspireed Auxiliary Targets)の2つの補完的なコンポーネントで構成されている。
- 参考スコア（独自算出の注目度）: 51.490743278360064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dataset distillation (DD) condenses large corpora into compact, information-rich subsets for efficient training and reuse. However, under noisy supervision, DD risks condensing corrupted associations together with useful signals, degrading robustness. Conventional noisy-label remedies (sample selection, loss weighting, label correction) tightly couple noise estimation with model optimization, often require clean anchors, and can amplify confirmation bias-assumptions that are misaligned with DD's goal of compact, plug-and-play supervision. We therefore propose a trajectory-based DD framework that jointly suppresses noise and preserves transferable knowledge without relabeling or clean subsets. It comprises two complementary components: Selective Guidance Reweighting (SGR), which fuses global forgetting patterns (second-split forgetting) with local neighborhood consistency into a progressive reweighting scheme that prioritizes clean supervision along the teacher trajectory; and Teacher-Inspired Auxiliary Targets (TIAT), which inject auxiliary residual guidance distilled from intermediate teacher dynamics to reinforce informative signals while remaining internally consistent. Together, SGR and TIAT produce distilled datasets with cleaner and richer representations under noisy supervision. The framework is robust, label-preserving, computationally lightweight, and broadly applicable, yielding consistent gains over state-of-the-art DD baselines across symmetric, asymmetric, and real-world noise.
- Abstract（参考訳）: データセット蒸留(DD)は、大規模なコーパスを、効率的なトレーニングと再利用のためにコンパクトで情報豊富なサブセットに凝縮する。
しかし、ノイズの多い監視の下では、DDは腐敗した関連を有用な信号とともに凝縮し、堅牢性を低下させるリスクがある。
従来のノイズキャンセリング(サンプル選択、損失重み付け、ラベル補正)は、モデル最適化と密結合し、しばしばクリーンアンカーを必要とする。
そこで本稿では,ノイズを共同で抑制し,伝達可能な知識を残さずに保持するトラジェクトリベースのDDフレームワークを提案する。
SGR(Selective Guidance Reweighting)は、グローバルな忘れパターン(第2分割の忘れ方)を、教師の軌道に沿ってクリーンな監督を優先するプログレッシブな再重み付けスキームに融合させ、中間教師の力学から抽出した補助的残留誘導を注入し、内部的に一貫性を維持しながら情報的信号を強化する。
SGRとTIATは共に、騒々しい監督の下で、より清潔でリッチな表現で蒸留データセットを生成する。
このフレームワークは、ロバストで、ラベルを保存し、計算的に軽量で、広く適用可能であり、対称、非対称、および実世界のノイズにまたがる最先端DDベースラインに対して一貫した利得をもたらす。
関連論文リスト
- RADIANCE: Relative Adaptive Denoising with IP-Adapter for Novel Concept Enhancement [23.717085162530804]
テキスト・ツー・イメージ(T2I)拡散モデルは、異常な属性・オブジェクトのペアリングを含む稀な概念を合成するのに苦労する。
我々は、推論をクローズドループフィードバックプロセスとして扱う、トレーニング不要のフレームワークRADIANCEを提案する。
論文 参考訳（メタデータ） (2026-07-06T13:49:40Z) - A Step Towards Robust Unsupervised Domain Adaptation via Fine-Tuning and Reinforcement Learning [2.436631469537453]
我々は,2段階の堅牢なUDAフレームワークである textbfSFT+RL を提案し,Supervised Fine Tuning と Reinforcement Learning を統合した。
textbfSFT+RLは、清潔な精度で textbf10.2% を平均的に改善し、textbf15.8% を3つのデータセットで比較した。
論文 参考訳（メタデータ） (2026-07-03T20:56:12Z) - REAL-OW: Rehearsal-free Open World Object Detection with Low-Rank Adaptation and Dual-Stage Objectness Modeling [56.888597798431704]
Open-World Object Detection (OWOD) では、未確認のオブジェクトを未知のものとして識別し、それを既知のカテゴリのセットにインクリメンタルに組み込む必要がある。
既存のフレームワークは、破滅的な忘れを緩和するために、模範的なリプレイに大きく依存しているが、実際のアプリケーションでは、データアクセス制限との生データ競合を保存し、データ露出のリスクをもたらす。
協調的なアダプタアーキテクチャを通じて段階的な知識を分離する新しいリハーサルフリーフレームワークであるREAL-OWを提案する。
論文 参考訳（メタデータ） (2026-07-03T06:38:54Z) - Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。
マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。
SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
論文 参考訳（メタデータ） (2026-06-01T15:58:13Z) - AMR-SD: Asymmetric Meta-Reflective Self-Distillation for Token-Level Credit Assignment [39.63424981516754]
非対称メタ反射型自己蒸留(AMR-SD)
非対称なReLUゲートしきい値を持つ因果情報ゲイン(CIG)を導入し、これらの反射をスパースで高精度なトークンレベルの利点変調に変換する。
科学的、数学的、ツール使用のベンチマークによる実験は、AMR-SDが既存のベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-18T15:14:34Z) - Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。
SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-14T17:51:26Z) - ManifoldGD: Training-Free Hierarchical Manifold Guidance for Diffusion-Based Dataset Distillation [9.230247128710865]
本稿では,各段階における多様体一貫したガイダンスを統合した,学習自由拡散に基づくフレームワークを提案する。
ManifoldGDは、モデルの再トレーニングを必要とせずに、代表性、多様性、画像の忠実性を改善する。
論文 参考訳（メタデータ） (2026-02-26T18:07:10Z) - Improved Object-Centric Diffusion Learning with Registers and Contrastive Alignment [83.56510119503265]
事前訓練された拡散モデルによるスロット注意(SA)は、最近オブジェクト中心学習(OCL)の可能性を示唆しているが、スロットの絡み合いや、オブジェクトスロットと画像内容との弱いアライメントに悩まされている。
提案するCODA(Contrastive Object-centric Diffusion Alignment)は,(i)残響を吸収し,オブジェクトスロット間の干渉を低減するためにレジスタスロットを使用する単純な拡張であり,(ii)スロットイメージ対応を明示的に促進するためにコントラストアライメントロスを適用する。
論文 参考訳（メタデータ） (2026-01-03T16:10:18Z) - Layer-wise Noise Guided Selective Wavelet Reconstruction for Robust Medical Image Segmentation [16.82406992858576]
我々はLNG-SWR(Layer-wise noise-Guided Selective Wavelet Reconstruction)を提案する。
トレーニング中、複数の層で小さなゼロ平均ノイズを注入し、ノイズに敏感な方向からステア表現を遠ざける前に周波数バイアスを学習する。
次に、入力/機能分岐に予め誘導した選択的ウェーブレット再構成を適用し、周波数適応を実現する。
論文 参考訳（メタデータ） (2025-11-20T09:03:32Z) - Revisiting Meta-Learning with Noisy Labels: Reweighting Dynamics and Theoretical Guarantees [11.411266656183]
本稿では,平均重み付け,行シフト,ラベル署名による変調を統合したメタリウェイト化のための軽量サロゲートを提案する。
合成および実雑音ラベルベンチマーク全体において,本手法は強い再重み付け/選択ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-10-14T07:00:12Z) - Dual-granularity Sinkhorn Distillation for Enhanced Learning from Long-tailed Noisy Data [67.25796812343454]
ディープラーニングのための実世界のデータセットは、クラス不均衡とラベルノイズの共起的な課題にしばしば悩まされる。
蒸留と相補的な知見の統合により二重強靭性を高める新しいフレームワークであるD-SINKを提案する。
ベンチマークデータセットの実験では、D-SINKはロバスト性を大幅に向上し、長い尾のノイズデータから学習する際の強い経験的性能を達成することが示された。
論文 参考訳（メタデータ） (2025-10-09T13:05:27Z) - Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。
RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。
自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
論文 参考訳（メタデータ） (2025-05-19T17:21:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。