論文の概要: What Transfers from a VLM Teacher? Comparing Supervision Signals for Visual Document Retrieval

• arxiv url: http://arxiv.org/abs/2610.09177v1
• Date: Tue, 06 Oct 2026 22:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.633727
• Title: What Transfers from a VLM Teacher? Comparing Supervision Signals for Visual Document Retrieval
• Title（参考訳）: VLM教師から受け継いだもの : ビジュアル文書検索のためのスーパービジョン信号の比較
• Abstract要約: ビジュアルドキュメントレトリバーは対照的に訓練される。 各クエリは、関連づけられた1ページ – 正の – にマッチし、負の値から押し出されます。 近年,視覚言語モデル (VLM) の教師は,その肯定性を豊かにすることで,学習者から学習者を排除している。 我々は,教師が他者に対して時間を費やしているかどうかを問うとともに,調査対象者の鉱山を負と判断する。
• 参考スコア（独自算出の注目度）: 5.491166594950383
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Visual document retrievers are trained contrastively: each query is matched to one page labelled relevant - the positive - and pushed away from negatives, pages presumed irrelevant. Recent methods distil a vision-language model (VLM) teacher into the retriever by enriching that positive, transferring the teacher's attention over it or a description of it. We ask whether the teacher is better spent on the other side, judging the candidates the retriever mines as negatives, which the label says nothing about. With student, data, optimizer and evaluation fixed, teacher-judged hard negatives and score distillation raise ViDoRe v2 nDCG@5 from 55.2 to 62.6 and 63.0; description alignment, as adapted here, gains 2.6 points and attention grounding nothing measurable. Against teacher-free rules that select four candidates from the same mined pool at identical training compute, the best of which is the positive-aware threshold current systems use, the teacher's judgement adds 4.1 points on v2 and 1.7 on v3. This is consistent with how incomplete the labels are. Annotators judge about two of a query's four top-ranked mined candidates relevant, none of them labelled, so training pushes the retriever away from relevant pages treated as negatives. What reaches the student is coarse: under a greedily decoded 0-100 rating prompt, 82% of the teacher's ratings come back at one end of the scale or the other, and a relevant/irrelevant partition keeps most of the distillation gain. A ten-annotator audit places the teacher within the range of variation among human annotators, and finds it reliable where a query has a single determinate answer. We release the code, the teacher's 3.3M judgements and page descriptions, the mined pools, the human audit and the trained adapters at https://github.com/elastic/vdr-teacher-signals.
• Abstract（参考訳）: ビジュアルドキュメントレトリバーは対照的に訓練される。各クエリは、関連づけられた1ページ – 正の – にマッチし、無関係と推定される負のページから押し出される。 近年,視覚言語モデル(VLM)の教師を検索者から排除する手法が提案されている。 我々は,教師が他者に対して時間を費やしているかどうかを問うとともに,調査対象者を否定的と判断し,ラベルには何も書かれていない。 生徒、データ、オプティマイザ、評価が固定され、教師が判断したハードネガティブとスコアの蒸留により、ViDoRe v2 nDCG@5が55.2から62.6と63.0に上昇する。 同じ訓練計算で同じ採掘プールから4つの候補を選定する教師なしのルールに対して、教師の判断はv2に4.1点、v3に1.7点を加算する。 これはラベルの不完全さと一致している。 アノテーションはクエリの上位4つのマイニング候補のうち2つについて判断するが、いずれもラベル付けされていない。 0-100の格付けプロンプトで、教師の格付けの82%は、尺度の一方の端で返され、関連する/非関連な分割は、蒸留の利益のほとんどを保持します。 テンアノテータ監査は、教師を人間のアノテータ間のバリエーションの範囲内に配置し、クエリが1つの決定的回答を持つ場合に信頼性を見出す。 コード、教師の3.3Mの判断とページの記述、マイニングされたプール、人間の監査、トレーニングされたアダプタはhttps://github.com/elastic/vdr-teacher-signals.comでリリースします。

関連論文リスト

• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Visual Contrastive Self-Distillation [61.298159957622886]
  本稿では,視覚的コントラスト自己蒸留法を提案する。 これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-07-23T17:37:37Z)
• Score-Only Distillation for Compact Dense Retrieval [3.340699005490366]
  本研究では,教師が隠れた状態にアクセスすることなく,スコアベクトルから教師のランク付け行動を学習できるかどうかを検討する。 PairMSE損失のメモリ効率向上を目的とした,行中心のスコアベクター目標を用いた。 蒸留した0.6Bの学生はクエリエンコーディングが4.7$times$、ドキュメントエンコーディングが9.7$times$である。
  論文  参考訳（メタデータ） (2026-07-13T12:18:13Z)
• Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment [0.0]
  高制約構造抽出は、各項目で大きなモデルのレイテンシを支払うので、タスクを小さなオンデバイスモデルに蒸留することは魅力的である。 各ニュース記事は、短い要約と5つのカテゴリラベルを持つ1つのオブジェクトにマッピングされる。 盲目で基準のない3つのジャッジパネルは、全記事に対して各アームをスコアし、2つの非蒸留ベースライン、数発のプロンプトと制約付き復号を行う。
  論文  参考訳（メタデータ） (2026-07-09T09:10:49Z)
• Asking Back: Interaction-Layer Antidistillation Watermarks [7.826668598190874]
  既存の防御は教師の出力トークンを操作する。 最近の研究によると、悪意のない攻撃者は、根底にある知識を失うことなく、これらの信号を取り除くことができる。 相互作用層型抗蒸留透かしを提案する。
  論文  参考訳（メタデータ） (2026-05-15T08:28:35Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Assistant-Guided Mitigation of Teacher Preference Bias in LLM-as-a-Judge [82.19239596089089]
  AGDe-Judgeは、トレーニングデータのラベルとフィードバックの両方から疎外するように設計されたフレームワークです。 AGDe-Judgeは、6つの評価ベンチマークで高いパフォーマンスを維持しながら、教師の嗜好バイアスを効果的に低減します。
  論文  参考訳（メタデータ） (2025-05-25T14:48:49Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。