論文の概要: COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering

• arxiv url: http://arxiv.org/abs/2610.12837v1
• Date: Fri, 09 Oct 2026 00:41:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.331539
• Title: COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering
• Title（参考訳）: COFFEQA:LLM質問応答用消毒剤
• Abstract要約: オープンブック質問回答 (COFFEQA) におけるファウショット蒸留法を提案する。 COFFEQAは数発の蒸留にCFD-validated factual-counterfactual pairsを使用する。 本研究では,実数対が教師と学生の意思決定境界のずれをいかに抑制できるかを考察する。
• 参考スコア（独自算出の注目度）: 7.391676722216757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation aims to train a smaller student model to mimic a larger teacher model for resource-constrained environments. However, the process of distillation is typically data-intensive and computationally expensive, particularly for generative tasks. Few-shot distillation offers an alternative by transferring teacher knowledge using limited training samples. However, we observe that few-shot distillation performance is heavily dependent on the choice of these training samples. In fact, we demonstrate that using more uncertain samples near the teacher's decision boundary can significantly deteriorate distillation performance. Motivated by this observation, we propose Counterfactual-guided Few-shot Distillation in Open-book Question Answering (COFFEQA), a novel strategy that aptly uses counterfactuals to provide additional supervision around challenging factual samples. In the generative QA setting, we define a counterfactual as a minimally modified context that induces the teacher to change its response to an alternative answer. We provide geometric insights on how factual-counterfactual pairs can constrain the deviation between the teacher's and student's decision boundaries. We further introduce a new metric, Context Following Difficulty (CFD) that further validates counterfactuals prior to distillation based on agreement with the intended alternative answer and dependence on the modified context. COFFEQA uses CFD-validated factual-counterfactual pairs for few-shot distillation. Experiments across five in-domain and three out-of-domain QA benchmarks using T5 and Qwen2.5 families show that COFFEQA outperforms factual-only distillation baselines under the same few-shot budget. For instance, on TriviaQA, COFFEQA improves over the factual-only baseline by 8.77 average EM points and 9.98 average F1 points under the T5 setting with 32 few-shot pairs.
• Abstract（参考訳）: 知識蒸留は、リソース制約のある環境において、より大規模な教師モデルを模倣するために、より小さな学生モデルを訓練することを目的としている。 しかし、蒸留のプロセスは一般的にデータ集約的で計算コストがかかる。 少数の蒸留は、限られた訓練サンプルを用いて教師の知識を伝達する代替手段を提供する。 しかし,これらのトレーニングサンプルの選択に大きく依存していることが明らかとなった。 実際,教師の判断境界付近で不確実なサンプルを使用することで,蒸留性能が著しく低下することが実証された。 本研究の目的は,オープンブック質問回答(COFFEQA)におけるファクトファクトファクトファクトディスタンス(Few-shot Distillation)を提案することである。 生成的QA設定では、反事実を最小限に修正された文脈として定義し、教師に別の回答に対する応答を変えるよう促す。 実数対が教師と学生の意思決定境界のずれをいかに抑えるかという幾何学的知見を提供する。 さらに,本研究では,提案する代替回答との一致と修正コンテキストへの依存に基づいて,蒸留に先立って反事実を更に検証する新たな指標であるCFD(Context Following Difficulty)を導入する。 COFFEQAは数発の蒸留にCFD-validated factual-counterfactual pairsを使用する。 T5およびQwen2.5ファミリーを用いた5つのドメイン内QAベンチマークと3つのドメイン外QAベンチマークによる実験は、COFFEQAが同じ数ショットの予算の下で事実のみの蒸留ベースラインを上回っていることを示している。 例えば、TriviaQAでは、COFFEQAは事実のみのベースラインを8.77平均EMポイントと9.98平均F1ポイントに改善し、32枚のショットペアでT5設定下に置く。

関連論文リスト

• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• SQuaT: Self-Supervised Knowledge Distillation via Student-Aware Quantized Teacher Features [7.743324361747458]
  量子化アウェアトレーニング(QAT)は、最小限の精度の劣化を伴う量子化モデルのデプロイを可能にする。 知識蒸留(KD)はこの課題に対処するための一般的なアプローチである。 我々は,この下界を理論的に排除するKD付きラベルフリーQATフレームワークであるSQuaTを提案する。
  論文  参考訳（メタデータ） (2026-08-11T09:29:30Z)
• Reference-Based Distillation Detection in LLMs [17.877444310396758]
  本稿では,参照型メンバシップ推論に基づく蒸留検出手法を提案する。 制御された蒸留実験と実世界のモデルの両方にまたがるハイブリッド評価を開発した。 この手法を現代モデルに適用すると、QwQ、DeepSeek-R1、GPT-OSSを含む蒸留関係に関する新たな証拠が得られる。
  論文  参考訳（メタデータ） (2026-06-19T06:59:19Z)
• Logit Standardization in Knowledge Distillation [83.31794439964033]
  教師と学生の共用温度の仮定は、ロジット範囲と分散の点で、ロジット間の厳密な一致を暗示している。 温度をロジットの重み付け標準偏差として設定し、ロジット標準化のプラグアンドプレイZスコア前処理を実行することを提案する。 我々の前処理により、学生はマグニチュードマッチを必要とせず、教師の本質的なロジット関係に集中することができ、既存のロジットベースの蒸留法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-03-03T07:54:03Z)
• KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling [52.11242317111469]
  我々は、知識蒸留によるDETRの圧縮に焦点を当てる。 DETR蒸留の主な課題は、一貫した蒸留点の欠如である。 本稿では,一貫した蒸留点サンプリングによるDETRのための最初の一般知識蒸留パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-11-15T11:52:30Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)
• Knowledge distillation via adaptive instance normalization [52.91164959767517]
  本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。 本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。 以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-03-09T17:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。