論文の概要: Distilling Directional Verification

• arxiv url: http://arxiv.org/abs/2610.00997v1
• Date: Thu, 01 Oct 2026 03:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.881698
• Title: Distilling Directional Verification
• Title（参考訳）: 蒸留方向検証
• Abstract要約: 教師は、逆方向の答の生成に失敗しながら、ある方向の関係を思い出すことができる。 我々は,凍結した教師がその既知の方向の候補回答を採点する指向性ラベル蒸留を導入する。 既知の方向ラベルでトレーニングされた学生は、事前修正された逆ラベルでトレーニングされた生徒よりも13から15ポイント精度を向上する。
• 参考スコア（独自算出の注目度）: 37.35283136875105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation aims to transfer the factual knowledge of large language models to smaller models for efficient deployment. Yet a teacher may recall a relation in one direction while failing to generate the answer in the reverse direction. Distillation from its generated answers can therefore propagate this directional limitation to the student. The same teacher can nevertheless recognize such an answer by scoring the relation in the direction it knows. We introduce directional label distillation, in which frozen teachers score candidate answers in that known direction and the best-scoring candidate becomes the student's training target. On facts about parents and their children, known-direction scoring yields more accurate labels than scoring the requested direction, even after tuned corrections for name priors. With prior-corrected scores, the better direction depends on the facts rather than the template, and reverses on mined facts whose notable entity is the parent rather than the child. With the evaluated children's forward facts withheld, students trained on known-direction labels improve open-ended accuracy on their trained queries by 13 to 15 points over students trained on prior-corrected reverse labels. After generated answers are matched to a fixed name list by lexical similarity, students reproduce nearly all selected labels. Their accuracy largely follows label quality. The label advantage holds on unscreened queries and when candidates are retrieved without inserting correct answers. Our findings show that directional verification mitigates the transfer of errors from teacher-generated answers to students by providing more accurate training targets. Code is available at https://github.com/js-lee-AI/directional-verification.
• Abstract（参考訳）: 知識蒸留は、大規模言語モデルの実際の知識をより小さなモデルに伝達し、効率的な展開をすることを目的としている。 しかし、教師は、逆方向の答えを生成できないまま、ある方向の関係を思い出すことができる。 したがって、生成した回答からの蒸留は、この方向制限を学生に広めることができる。 それにもかかわらず、同じ教師は、自分が知っている方向の関係を採点することで、そのような答えを認識できる。 そこで,本研究では,凍結した教師が,その既知の方向の解答を得点し,最良評価候補が学生の訓練対象となる方向ラベル蒸留について紹介する。 親とその子どもに関する事実では、名前前の修正を調整した後でも、既知の方向スコアは要求された方向のスコアよりも正確なラベルが得られる。 事前補正されたスコアでは、より良い方向はテンプレートよりもむしろ事実に依存し、子供よりも親である注目すべき事実を逆転させる。 評価された子供の前向き事実を裏付けることなく、既知の方向ラベルで訓練された学生は、事前修正された逆ラベルで訓練された生徒よりも13～15ポイント、訓練された質問に対するオープンエンドの精度を向上した。 生成した回答を語彙的類似性によって固定名リストにマッチさせた後、学生は、ほぼ全ての選択されたラベルを再生する。 精度はラベルの品質に大きく左右される。 ラベルのアドバンテージは、未表示のクエリと、正しい回答を挿入せずに候補が検索されるときである。 本研究は,教師が生成した回答から生徒への誤りの伝達を,より正確な訓練目標を提供することによって軽減することを示す。 コードはhttps://github.com/js-lee-AI/directional-verification.comで公開されている。

関連論文リスト

• Leaky Students: Membership Inference against On-Policy Distillation [9.526055673825544]
  その結果,新入生トラジェクトリは,参照-回答損失を固定するスパースメンバーシップシグナルを露呈することがわかった。 ターゲットモデルから新しいトラジェクトリを抽出し,トークンログの確率と一致した参照モデル間の最大値を比較する。 これはLeaky ReLUを結果のギャップに適用し、非メンバーにおける偶発的正のギャップの近似的補正として正のギャップを保ち、負のギャップを下げる。
  論文  参考訳（メタデータ） (2026-09-27T03:06:54Z)
• Unknown-Traffic Detection, Calibration and Shortcut Reliance in Distilled Encrypted-Traffic Classifiers over One Year [0.3384279376065155]
  私たちは、他の生徒が教師から受け継いだものについて尋ねる。 私たちはCESNET-TLS-Year22で10の仮説をテストしました。
  論文  参考訳（メタデータ） (2026-09-25T11:32:00Z)
• Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation [3.5592415157621105]
  自己蒸留(SD)は、検証可能な報酬を伴う強化学習に代わる計算効率の高い代替品として登場した。 SDPOの報告したゲインを簡単な設定で再現し、同じ設定を困難なタスクに適用し、そうでないことを確かめる。 この失敗は、損失から生成するモデルへの1つの因果連鎖を通して説明します。
  論文  参考訳（メタデータ） (2026-08-05T12:59:10Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Ranking Distillation for Open-Ended Video Question Answering with Insufficient Labels [31.063490654998617]
  本稿では,ビデオ関連質問に対する応答として,大きめの回答から正しい回答を見つけることを目的とした,オープンなビデオ質問応答に焦点を当てた。 アノテーションのコストのため、既存のベンチマークのラベルは常に極めて不十分であり、典型的には1つの答えである。 そこで本研究では,手作業によるアノテーションを伴わずにこの問題を軽減するため,簡易かつ効果的なランキング蒸留フレームワーク (RADI) を提案する。
  論文  参考訳（メタデータ） (2024-03-21T14:37:50Z)
• Weighted Distillation with Unlabeled Examples [15.825078347452024]
  ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。 本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T04:08:56Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。