論文の概要: Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment

• arxiv url: http://arxiv.org/abs/2607.08268v1
• Date: Thu, 09 Jul 2026 09:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.482904
• Title: Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment
• Title（参考訳）: 異なる教師、異なる能力:構造化テキスト濃縮のためのサブ1Bオンデバイス蒸留
• Abstract要約: 高制約構造抽出は、各項目で大きなモデルのレイテンシを支払うので、タスクを小さなオンデバイスモデルに蒸留することは魅力的である。 各ニュース記事は、短い要約と5つのカテゴリラベルを持つ1つのオブジェクトにマッピングされる。 盲目で基準のない3つのジャッジパネルは、全記事に対して各アームをスコアし、2つの非蒸留ベースライン、数発のプロンプトと制約付き復号を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-volume structured extraction pays a large model's latency on every item, so distilling the task into a small on-device model is attractive: comparable output at a fraction of the time and cost. We measure what that distillation actually delivers, per sub-task. Each news article is mapped to one JSON object with a short summary and five categorical labels. We distill an 8B reasoning teacher (deepseek-r1:8b) into a 0.6B student (Qwen3-0.6B; QLoRA, three seeds), and add two teacher controls: a same-size non-reasoning teacher and a larger managed pipeline. A blinded, reference-free, three-judge panel scores every arm against the full article, alongside two non-distillation baselines, few-shot prompting and constrained decoding. The student runs at about 0.8 s per article against the teacher's 39 s, and recovers 58% of the base-to-teacher gap on summary quality, beating its primary baseline (constrained decoding) by +16.8 points and few-shot prompting by a secondary +4.9. A same-size non-reasoning teacher trains a student no better than the untuned base, so the summary gain follows from the teacher's reasoning nature rather than its scale. Capabilities then split by teacher: the reasoning teacher transfers writing quality and the managed pipeline transfers label diversity, while a same-size instruction teacher's students stay more grounded on the 22 short, thin-source articles in the 93-item test set (74 versus 55 faithful), where the reasoning-lineage student fabricates. That grounding difference is a consistent ordering rather than a significant aggregate effect, and the subgroup is small, so we report it as a direction. Because no single engine wins every field, the deliverable is a per-field routing map for on-device enrichment.
• Abstract（参考訳）: 大量の構造化された抽出は、すべてのアイテムに対して大きなモデルのレイテンシを支払うので、タスクを小さなオンデバイスモデルに蒸留することは魅力的である。 サブタスクごとに、蒸留が実際にもたらすものを測定します。 各ニュース記事は、短い要約と5つのカテゴリラベルを持つ1つのJSONオブジェクトにマッピングされる。 我々は8Bの推論教師(deepseek-r1:8b)を0.6Bの学生(Qwen3-0.6B、QLoRA、3種)に蒸留し、同じサイズの非推論教師とより大きな管理パイプラインの2つの教師制御を追加する。 盲目で基準のない3つのジャッジパネルは、全記事に対して各アームをスコアし、2つの非蒸留ベースライン、数発のプロンプトと制約付き復号を行う。 生徒は、教師の39秒に対して1記事あたり0.8秒の速度で走り、サマリ品質のベースと教師のギャップの58%を回復し、そのベースライン(制約付き復号)を+16.8ポイント、少ショットを+4.9で上回っている。 同じ大きさの非理化教師は、訓練されていないベースよりも生徒を訓練するので、要約は、その規模ではなく、教師の理性から得られる。 推理教師は文字の質を伝達し、管理されたパイプラインはラベルの多様性を伝達する一方、同規模の教師の生徒は93イテムテストセット(74対55の忠実さ)の22の短いソース記事により根ざしている。 その基底差は有意な集合効果ではなく一貫した順序であり、部分群は小さいので、方向として報告する。 単一のエンジンがすべてのフィールドに勝つことはないので、デバイス上のエンリッチメントのためのフィールドごとのルーティングマップである。

関連論文リスト

• Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs [13.74158437063828]
  MT-SDPO (Multi-Teacher Self-Distillation Policy Optimization) は、複数の凍結教師を1つの学生モデルに統一するオンライン蒸留法である。 MT-SDPOは, 自己アンカー, 応答検証適性, 特権蒸留の3つの成分から構成される。 Qwen3-8Bの最も弱いドメインを14.79ポイント引き上げ、そのドメインギャップを74.7%縮小する。
  論文  参考訳（メタデータ） (2026-09-02T13:00:45Z)
• Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
  ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。 そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
  論文  参考訳（メタデータ） (2026-08-10T16:53:14Z)
• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context [40.91201403670402]
  本研究では,教師が学習可能なソフトプロンプトのみで生徒と異なる方法を提案する。 メソッドは、マージされたコーパスの各例を対応するソフトプロンプトの教師にルーティングすることで、マルチタスク設定に自然に拡張する。 Qwen3-1.7BベースとPhi-4-mini-インストラクタでは、単一タスクの変種が完全な微調整と一致するか、あるいは超える。
  論文  参考訳（メタデータ） (2026-06-30T19:56:05Z)
• Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training [20.04756350098974]
  ラベル付き検証可能なトレーニングデータがバインディング制約である場合、各チェックされた例は、最も情報のあるモデルと報酬密度に割り当てるべきである。 スパース・シークエンス・レベルの報酬は、より良い振る舞いを探索し発見できるモデルにおいて最も有用であるが、より密集したトークンレベルの教師監督は、その振る舞いをより小さなデプロイメントモデルに圧縮するのにより適している。
  論文  参考訳（メタデータ） (2026-05-12T17:57:48Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Merge-of-Thought Distillation [23.53356244978525]
  マージ・オブ・ソート蒸留(Merge-of-Thought Distillation、MoT)は、教師固有の教師付き微調整ブランチと、結果として生じる生徒の変種をマージする重み空間を代替する軽量フレームワークである。 競合数学のベンチマークでは、Qwen3-14Bの学生にMoTを適用すると、Deepseek-R1、Qwen3-32B、OpenAI-O1といった強力なモデルを超える。 MoTは、最高の単教師蒸留よりも優れており、数学以外の一般的な推論を改善し、分散シフトとピアレベルの教師に対して堅牢性を示している。
  論文  参考訳（メタデータ） (2025-09-10T17:46:57Z)
• Distilling Multi-Level X-vector Knowledge for Small-footprint Speaker Verification [17.47803028215758]
  本研究は, 知識蒸留を用いた小型フットプリント深層話者埋込み抽出の開発に焦点をあてる。 我々のアプローチは、x-vectorモデル(教師ネットワーク)の異なるレベルからの埋め込みをマージして、コンパクトな学生ネットワークを訓練することである。
  論文  参考訳（メタデータ） (2023-03-02T10:09:11Z)
• Less is More: Task-aware Layer-wise Distillation for Language Model Compression [68.30497162547766]
  層ワイド蒸留は、大きなモデル(すなわち教師モデル)を小さなモデルに圧縮する強力なツールである。 我々は,新しいタスク対応ライEr-wise Distillation (TED)を提案する。 TEDは、各レイヤで生徒と教師の隠された表現を調整するためにタスク認識フィルタを設計する。
  論文  参考訳（メタデータ） (2022-10-04T03:36:53Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。