論文の概要: MASS: Multi-mask Selective Self-Distillation for Leakage-Resilient Reasoning

• arxiv url: http://arxiv.org/abs/2610.38154v1
• Date: Wed, 28 Oct 2026 01:41:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.356889
• Title: MASS: Multi-mask Selective Self-Distillation for Leakage-Resilient Reasoning
• Title（参考訳）: MASS:漏れ耐性推論のためのマルチマスク選択自己蒸留
• Abstract要約: マルチマスク選択自己蒸留(MASS) 提案手法はマルチマスク選択自己蒸留法 (MASS) を提案し, 1つの検証された解の複数の独立にマスキングされたビューを用いて, 多様な参照実現の限界を近似する。
• 参考スコア（独自算出の注目度）: 3.1950519794953487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation enables the same model to act as student and teacher, with dense token-level supervision obtained by the teacher being given access to privileged information. However, conditioning the teacher on a single reference can concentrate its predictions on one reasoning trajectory and limit transfer to the student. We propose Multi-Mask Selective Self-Distillation (MASS), which approximates the unavailable marginal over diverse reference realizations using multiple independently masked views of one verified solution. MASS aggregates these complementary teacher predictions, selectively transfers reliable token-level corrections, and adaptively focuses masking on influential reference spans. Across mathematical reasoning benchmarks and model families, MASS consistently outperforms strong self-distillation baselines.
• Abstract（参考訳）: オンラインの自己蒸留は、教師が特権情報へのアクセスを与えられることで得られる密集したトークンレベルの監督によって、同じモデルを学生や教師として振る舞うことを可能にする。 しかし、教師を単一の基準で条件付けすることで、その予測は1つの推論軌道に集中し、生徒への移動を制限することができる。 提案手法はマルチマスク選択自己蒸留法 (MASS) を提案する。 MASSはこれらの補完的な教師予測を集約し、信頼できるトークンレベルの修正を選択的に転送し、影響のある参照スパンにマスクを適応的にフォーカスする。 数学的推論ベンチマークとモデルファミリ全体で、MASSは強い自己蒸留ベースラインを一貫して上回っている。

関連論文リスト

• Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints [60.23381594831357]
  SeTPOは、選択的な教師指導と永続的な実演指導で学生の探索を調整する。 理想化された双方向KL目標の下では、最適政策が教師よりも期待される報酬を得られないことを理論的に証明する。 BFCL v4とAPI Bankの実験により、SeTPOは教師付き微調整、強化学習、蒸留ベースラインよりも全体的な性能が優れていることが示された。
  論文  参考訳（メタデータ） (2026-10-13T14:26:41Z)
• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
  既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T15:31:50Z)
• "The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
  CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。 CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。 我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
  論文  参考訳（メタデータ） (2026-01-20T14:05:19Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• Learning from All: Concept Alignment for Autonomous Distillation from Multiple Drifting MLLMs [21.166882700131293]
  本稿では,マルチモーダル大規模言語モデル(MLLM)から抽出する上で,重要かつ過小評価されている課題について述べる。 我々は,概念ドリフトと知識蒸留の理論的関係を開拓し,マルチストリーム推論軌道の次世代予測として,複数のMLLM教師の非定常推論力学を推し進めた。 教師の指導のもと、学生モデルはまず学習し、複数の教師を比較して考えることを好む。 その後、教師のドリフト推論を批判的に反映し、APOを通して概念アライメントを行い、最終的には堅牢で一貫性があり、一般化可能なモデルを生み出す。
  論文  参考訳（メタデータ） (2025-10-05T10:42:21Z)
• Hybrid Distillation: Connecting Masked Autoencoders with Contrastive Learners [102.20090188997301]
  コントラスト学習(CL)とマスクド画像モデリング(MIM)の強みを組み合わせたモデルを得る方法について検討する。 識別と多様性の両立を図るため, 単純かつ効果的なハイブリッド蒸留戦略を提案する。 実験の結果、Hybrid Distillは異なるベンチマークで優れた性能が得られることが証明された。
  論文  参考訳（メタデータ） (2023-06-28T02:19:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。