論文の概要: Avoiding What Your Teacher Already Knows: Entity Familiarity for Deep-Search Distillation

• arxiv url: http://arxiv.org/abs/2610.16251v1
• Date: Mon, 12 Oct 2026 06:25:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.318738
• Title: Avoiding What Your Teacher Already Knows: Entity Familiarity for Deep-Search Distillation
• Title（参考訳）: 教師がすでに知っていることを避ける:ディープサーチ蒸留におけるエンティティ・ファミリティ
• Abstract要約: Evidence-Verified Entity Familiarity (EVF)を導入し、オンライン証拠に対して教師が作成した事実記述を検証することによって親しみを見積もる。 EVFと教師関係の難易度は0.60-0.70である。 この制限に対処するために,我々は,自己申告されたエンティティ親和性(SEF)を提案する。これは,そのエンティティをグラフに登録する前に,エンティティに親しみがあるかどうかを教師に直接問う,軽量なゲーティング信号である。
• 参考スコア（独自算出の注目度）: 62.383187610753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep-search agents are commonly trained by distilling tool-use trajectories from stronger teacher models. However, structurally complex questions may remain relatively easy for teachers familiar with key entities in the underlying entity graph, resulting in lower search demand and weaker supervision. We refer to this teacher-specific variation in question difficulty as teacher-relative difficulty and investigate entity familiarity as an early predictor. We first introduce Evidence-Verified Entity Familiarity (EVF), which estimates familiarity by verifying a teacher-generated factual brief against online evidence. Across multiple teachers, EVF is significantly correlated with teacher-relative difficulty with AUCs of 0.60--0.70. However, its high cost makes it impractical for constructing entity graphs at scale. To address this limitation, we propose Self-Reported Entity Familiarity (SEF), a lightweight gating signal that directly asks a teacher whether it is familiar with an entity before admitting that entity into the graph. Across multiple teachers, trajectories from SEF-gated synthesis exhibit greater observed search demand and yield higher downstream student accuracy than those from ungated synthesis. Because familiarity is teacher specific, we further study cross-teacher reuse. We screen graphs collected for other teachers using Kimi-K3's SEF judgments and use the retained graphs to produce 5,411 additional trajectories. Combined with 2,200 trajectories from newly constructed, SEF-gated graphs, these data improve Qwen3.8-27B's accuracy from 44.10% to 66.41% on a BrowseComp subset, and achieving state-of-the-art performance among models of comparable size on BrowseComp, SEAL-0, HLE-text, and xbench. Overall, SEF provides a low-cost way to synthesize more informative supervision for deep-search distillation.
• Abstract（参考訳）: ディープサーチエージェントは、より強力な教師モデルからのツール使用軌跡を蒸留することによって、一般的に訓練される。 しかし、構造的に複雑な質問は、基礎となるエンティティグラフのキーエンティティに精通している教師にとって比較的容易であり、結果として検索の需要が減少し、監督が弱まる。 本稿では,この質問難易度における教師固有の変化を教師関係の難易度として言及し,早期予測因子としてのエンティティ親しみについて検討する。 まずEvidence-Verified Entity Familiarity(EVF)を紹介する。 複数の教師の間でEVFは教師関係の困難さとAUCの0.60-0.70と大きく相関している。 しかし、そのコストが高いため、エンティティグラフを大規模に構築するには実用的ではない。 この制限に対処するために,我々は,自己申告されたエンティティ親和性(SEF)を提案する。これは,そのエンティティをグラフに登録する前に,エンティティに親しみがあるかどうかを教師に直接問う,軽量なゲーティング信号である。 複数の教師にまたがってSEF-gate合成のトラジェクトリは、観測された探索需要が増加し、アンゲート合成のトラジェクトリよりも下流の生徒の精度が向上する。 親しみは教師特有のものであるので、教師間の再利用についてさらに研究する。 我々は,Kimi-K3のSEF判定を用いて他の教師が収集したグラフをスクリーニングし,保持グラフを用いて5,411個の追加トラジェクトリを生成する。 新たに構築されたSEF-gateグラフからの2200のトラジェクトリと組み合わせて、これらのデータはQwen3.8-27Bの精度をBrowseCompサブセットで44.10%から66.41%に改善し、BrowseComp、SEAL-0、HLE-text、xbenchで同等のサイズのモデルで最先端のパフォーマンスを達成する。 全体として、SEFは、深層蒸留のためのより情報的な監督を、より低コストで合成する方法を提供する。

関連論文リスト

• Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias [5.434571018755813]
  グループ相対的知識蒸留(GRKD)は、クラス間の相対的なランク付けを学習することで教師の知識を蒸留する新しいフレームワークである。 分類ベンチマークの実験では、GRKDは既存の手法よりも優れた一般化を実現している。
  論文  参考訳（メタデータ） (2025-04-29T07:23:22Z)
• Simple Unsupervised Knowledge Distillation With Space Similarity [15.341380611979524]
  自己教師付き学習(SSL)は、より小さなアーキテクチャに容易に拡張できない。 正規化により失われた情報を捉えるための単純な目的を提案する。 提案する損失成分である「textbfspace similarity」は,生徒の特徴空間の各次元を,教師の対応する次元に類似させる動機付けを行う。
  論文  参考訳（メタデータ） (2024-09-20T22:54:39Z)
• OD-DETR: Online Distillation for Stabilizing Training of Detection Transformer [14.714768026997534]
  本稿では,オンライン蒸留によるDETRトレーニングの安定化を目的とする。 指数移動平均(EMA)で蓄積した教師モデルを利用する。 実験の結果,提案したOD-DETRはトレーニングの安定化に成功し,パラメータを増やすことなく性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-09T14:07:35Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Revisiting Label Smoothing and Knowledge Distillation Compatibility: What was Missing? [38.073798391433634]
  本研究は,ラベル平滑化 (LS) と知識蒸留 (KD) の適合性について検討する。 私たちの研究の主な貢献は、体系的な拡散の発見、分析、検証である。
  論文  参考訳（メタデータ） (2022-06-29T11:00:44Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。