論文の概要: Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning

• arxiv url: http://arxiv.org/abs/2610.19176v1
• Date: Tue, 13 Oct 2026 20:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.804087
• Title: Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning
• Title（参考訳）: 自己生成反応から学ぶ:信頼性-推論のための不確実な自己蒸留
• Abstract要約: 我々は信頼性-不確実な自己蒸留(メソッド)を提案する。 自己評価スコアと信頼度から推定される判断された信頼性と、学生予測の不確実性とを付加的に組み合わせることで、各試行の蒸留損失を重み付けする。 11の推論ベンチマークで、メソッドは平均精度で5つのベースラインすべてを上回っます。
• 参考スコア（独自算出の注目度）: 8.037185196718779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reference solutions and question-specific rubrics are not always available to guide the teacher in self-distillation. A large language model's own solution attempts offer an alternative, but their quality is difficult to assess in open-ended tasks without automatic correctness checks, and even correct attempts can involve uncertain token predictions. We propose Reliability--Uncertainty Self-Distillation (\method{}) to learn from these attempts. The same model serves as teacher and student: the teacher receives the question and completed attempt, and the student matches the teacher's token-level predictions using a question-only prompt. \method{} weights each attempt's distillation loss by additively combining judged reliability, estimated from a self-judge's score and confidence, with student predictive uncertainty. Across eleven reasoning benchmarks, \method{} outperforms all five baselines in average accuracy, reaching 70.47\% on Qwen3-4B and 76.69\% on Qwen3-8B (8.90 and 2.10 percentage points above the base models). Data and code are available at https://github.com/JP-25/RUSD.
• Abstract（参考訳）: 教師の自己蒸留を指導するために、参照ソリューションや質問特化ルーブリックは必ずしも利用できない。 大規模言語モデルの独自のソリューションは代替手段を提供するが、その品質は自動的正当性チェックなしでオープンなタスクで評価することは困難であり、正しい試みであっても不確実なトークン予測を伴う可能性がある。 我々はこれらの試みから学ぶために信頼性-不確かさ自己蒸留(\method{})を提案する。 教師は質問を受け取り、試行を完了し、学生は質問のみのプロンプトを使って教師のトークンレベルの予測にマッチする。 \method{} は、自己評価のスコアと自信から推定される判断された信頼性と、学生予測の不確実性とを付加的に組み合わせることで、各試行の蒸留損失を重み付けする。 11の推論ベンチマークで、'method{} は平均精度で5つのベースライン全てを上回り、Qwen3-4Bでは70.47 %、Qwen3-8Bでは76.69 %(ベースモデルより8.90 と2.10 ポイント)に達した。 データとコードはhttps://github.com/JP-25/RUSD.comで入手できる。

関連論文リスト

• Certainty Is Not Just Correctness: Rethinking Token-Level Certainty in LLM Reasoning [25.24545341768214]
  トークンレベルの確実性は、LLMトレーニングや推論において、正確性のためのプロキシとして広く使用されている。 モデルおよびタスク間での制御された経験的評価により、確実性の予測能力を評価する。
  論文  参考訳（メタデータ） (2026-09-26T12:56:58Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Towards Fully Automated Exam Grading: Fairness-Aware Recognition of Handwritten Answers with Foundation Models [0.0]
  汎用視覚言語基盤モデル(VLM)は、ピクセルテンプレートにマッチするのではなく、ページを解釈する。 61の匿名試験(3141の回答位置)のベンチマークでは、最良のモデルは98.4%の精度に達する。 したがって、完全に自動化された公正な試験は、スケールで評価される。
  論文  参考訳（メタデータ） (2026-06-09T22:12:43Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• When Can We Trust LLM Graders? Calibrating Confidence for Automated Assessment [1.896929753246251]
  大規模言語モデル(LLM)は自動階調の保証を示すが、その出力は信頼できない。 これにより、信頼性の高い予測が自動的に処理され、不確実なケースが人間のレビューにフラグ付けされる選択的な自動化が可能になる。
  論文  参考訳（メタデータ） (2026-03-31T10:38:22Z)
• CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading [1.5829605001132387]
  そこで我々はCHiL(L)Graderを紹介した。CHiL(L)Graderは、調整された信頼度推定をループ内ワークフローに組み込んだ最初の自動グレーティングフレームワークである。 CHiL(L)Graderは、不確実なケースを人間のグレーダーにルーティングしながら、信頼性の高い予測のみを自動化する。 受理予測と棄却予測の間の0.347のQWKギャップは、信頼に基づくルーティングの有効性を確認する。
  論文  参考訳（メタデータ） (2026-03-12T14:04:58Z)
• GATES: Self-Distillation under Privileged Context with Consensus Gating [89.62339954332248]
  我々は、監督が信頼できない環境で自己蒸留を研究する。 非対称な文脈で回答する文書に焦点をあてる。 複数の文書ベース推論トレースをサンプリングすることにより、教師のコンセンサスからオンラインでの監督を導出する。
  論文  参考訳（メタデータ） (2026-02-24T05:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。