論文の概要: SRA: Selective Residual Adaptation for LLM Reasoning Enhancement

• arxiv url: http://arxiv.org/abs/2610.34199v1
• Date: Sun, 25 Oct 2026 10:30:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.556849
• Title: SRA: Selective Residual Adaptation for LLM Reasoning Enhancement
• Title（参考訳）: SRA: LLM推論強化のための選択残差適応
• Abstract要約: 局所的な修正を内在化するプラグイン・アンド・プレイ・フレームワークである選択残留適応(SRA)を提案する。 SRAは蒸留された学生モデルを継続的に強化し、平均パス@16を最大4.37ポイント引き上げている。
• 参考スコア（独自算出の注目度）: 21.54883212265696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation transfers reasoning capabilities from large language models to lightweight students. However, distilled small models still struggle with multi-step reasoning. We observe that the distribution divergences between teacher and student models along reasoning paths are highly sparse, and target tokens almost always fall within the student top-$K$ candidate set. Based on this finding, unlike approaches updating student backbones or requiring runtime teacher computation, we propose Selective Residual Adaptation (SRA), a plug-and-play framework that internalizes localized corrections. Concretely, SRA employs a Discrepancy Gate to identify divergence positions alongside a Candidate Residual Adapter for top-$K$ logit calibration to correct the mismatch. Theoretically, we establish error bounds ensuring strict sequence level performance gains. Across mathematical benchmarks on Qwen3 models from 0.6B to 4B, SRA consistently enhances distilled student models, raising average Pass@16 by up to 4.37 percentage points while preserving general capabilities.
• Abstract（参考訳）: 知識蒸留は、大きな言語モデルから軽量な学生への推論能力を伝達する。 しかし、蒸留された小型モデルは多段階の推論に苦戦している。 我々は,教師モデルと学生モデル間の分布の相違が,推論経路の相違が非常に少なく,目標トークンが常に学生トップのK$候補セットに収まるのを観察する。 この発見に基づいて、学生のバックボーンの更新や実行時教師の計算を必要とするアプローチとは異なり、局所的な修正を内部化するSRA(Selective Residual Adaptation)を提案する。 具体的には、SRAは離散ゲートを使用して、不一致を正すために上位$K$ロジット校正のための候補残差適応器と共に分岐位置を識別する。 理論的には、厳密なシーケンスレベルの性能向上を保証するエラー境界を確立する。 Qwen3モデルの0.6Bから4Bまでの数学的なベンチマークで、SRAは蒸留された学生モデルを継続的に強化し、一般的な能力を保ちながら平均4.37ポイントまでPass@16を上昇させた。

関連論文リスト

• OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
  OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。 ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。 フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
  論文  参考訳（メタデータ） (2026-09-30T14:56:10Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback [24.756084698191568]
  大きな言語モデル(LLM)蒸留は、強力な教師の能力をより小さな学生に伝達することを目的としている。 しかし、直接の模倣は教師の体系的な偏見や誤りを伝達することもある。 本稿では,教師の校正と生徒の更新を結びつけるアルゴリズムであるCoupled and Learning (CCL)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T17:15:40Z)
• When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation [21.86522736658343]
  本稿では, 教師指導の誤りを軽減するために, Reward-Aligned On-Policy Distillation (RA-OPD)を提案する。 RA-OPDは、さらなる計算コストを必要とせずに、より信頼性の高い軌道を選択し、生徒モデルの性能を向上させる。 我々は,Qwen3ファミリーとDeepSeek-R1ファミリーのモデルを用いて,数学とコードベンチマークのRA-OPDを評価する。
  論文  参考訳（メタデータ） (2026-08-28T06:05:50Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning [19.473649388687484]
  大きな言語モデル(LLM)と明確な推論能力は、数学的推論では優れているが、プロセスエラーをコミットする。 本稿では,理論の強化を目的としたオンライン共同学習フレームワークGeneversarative Adrial Reasonerを紹介する。 計算効率の高いレビュースケジュールは、各推論チェーンを、同等の長さの論理的に完全なスライスに分割し、判別器は、構造化された正当化により、各スライスの音質を評価する。
  論文  参考訳（メタデータ） (2025-12-18T18:59:54Z)
• In Their Own Words: Reasoning Traces Tailored for Small Models Make Them Better Reasoners [12.995634497832027]
  より大きな言語モデルから小さな言語モデルへの推論能力の転送は、しばしば反故意に失敗する。 より大きなモデルからのトレースの推論は、学生の分布下では低い確率のトークンを含む。 本稿では,学生に優しい推論トレースを生成するメカニズムであるReverse Speculative Decoding (RSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T11:40:32Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。