論文の概要: BRIDGE: Budget-aware Reasoning via Intermediate Distillation with Guided Examples

• arxiv url: http://arxiv.org/abs/2512.20403v1
• Date: Tue, 23 Dec 2025 14:46:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.908446
• Title: BRIDGE: Budget-aware Reasoning via Intermediate Distillation with Guided Examples
• Title（参考訳）: BRIDGE:中間蒸留による予算認識推論とガイド付き例
• Authors: Xuan-An Le, Minh-Nam Tran, Son Nguyen,
• Abstract要約: 大きなプロプライエタリなモデルから小さなデプロイ可能なモデルへの知識の希薄化は、キャパシティ予算の罠に直面する。 BRIDGEは戦略的修復と予算非対称性によってこれらの制約を解決する2段階のフレームワークである。 Bridgeは生徒のパフォーマンスを28～41%向上させ、プロプライエタリな教師との能力格差を12～16%減らし、教師のクエリを10倍減らした。
• 参考スコア（独自算出の注目度）: 4.546153508917822
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Distilling knowledge from large proprietary models (e.g., GPT-4) to tiny deployable models (less than 1B parameters) faces a critical capacity-budget trap: the 1000x capacity gap between teachers and students prevents effective direct transfer, while API costs prohibit extensive data collection. We introduce BRIDGE (Budget-Aware Reasoning via Intermediate Distillation), a two-phase framework that resolves these constraints through strategic intermediation and budget asymmetry. In Phase 1, a mid-sized Teacher Assistant (TA; e.g., about 7B) learns from the black-box teacher on a strictly limited subset of data (e.g., 3-5%), selected via a zero-API-cost pipeline that balances entropic difficulty and semantic diversity using only local TA inference. In Phase 2, we exploit this asymmetry-teacher queries are expensive, whereas TA inference is free to amplify supervision: the refined TA generates synthetic rationales for the full dataset to train the tiny student. Crucially, we apply an instruction-tuning curriculum to establish behavioral alignment in the tiny student before transferring reasoning. Our theoretical analysis shows that BRIDGE yields tighter generalization bounds than direct distillation when data is abundant. Experiments across medical, legal, and financial benchmarks demonstrate consistent improvements: BRIDGE delivers student performance gains of 28-41%, closing the capability gap with proprietary teachers by 12-16% while using 10x fewer teacher queries. Notably, BRIDGE defies the conventional cost-performance frontier, surpassing direct distillation baselines that use 100% of the budget while consuming only 5% of the resources.
• Abstract（参考訳）: 大規模なプロプライエタリモデル(GPT-4など)から小さなデプロイ可能なモデル(1Bパラメータ未満)への知識の拡散は、重要なキャパシティ予算の罠に直面している。 BRIDGE(Budget-Aware Reasoning via Intermediate Distillation)は,これらの制約を戦略的修復と予算非対称性を通じて解決する2段階のフレームワークである。 フェーズ1では、中規模の教師アシスタント(TA; eg, 約7B)がブラックボックス教師から厳密に制限されたデータのサブセット(eg, 3-5%)で学習し、ローカルTA推論のみを使用してエントロピー困難とセマンティック多様性のバランスをとるゼロAPIコストパイプラインを介して選択される。 フェーズ2では、この非対称性-教師クエリは高価であるのに対して、TA推論は監督を増幅する自由である。 重要なこととして, 授業指導カリキュラムを適用して, 小学生の行動アライメントを確立し, 推論を伝達する。 BRIDGEはデータ量の多い場合, 直接蒸留法よりも厳密な一般化境界が得られることを示す。 BRIDGEは生徒のパフォーマンスを28～41%向上させ、10倍少ない教師クエリを使用しながら、プロプライエタリな教師との能力ギャップを12～16%短縮します。 特に、BRIDGEは従来のコストパフォーマンスフロンティアに反し、100%の予算を使いながら5%しか消費しない直接蒸留ベースラインを超えている。

関連論文リスト

• In-Context Distillation with Self-Consistency Cascades: A Simple, Training-Free Way to Reduce LLM Agent Costs [15.204355975284658]
  微調整に伴う開発コストを発生させることなく, LLMエージェント推論コストを削減するための簡易な手法を提案する。 最も重要なことは、知識蒸留のアイデアを文脈内学習環境に適応させる$textitin-context distillation$を導入することである。 提案手法では,各エージェントステップで関連する教師のデモンストレーションを検索し,インコンテキストの事例として学生に提供し,ハエの教師行動の模倣を可能にする。
  論文  参考訳（メタデータ） (2025-12-02T09:11:05Z)
• Rethinking Long-tailed Dataset Distillation: A Uni-Level Framework with Unbiased Recovery and Relabeling [105.8570596633629]
  トラジェクトリに基づく手法の限界を再考することにより,長い尾のデータセット蒸留を再考する。 統計的アライメントの観点からバイアスをモデル化し、公正な監督を復元する。 提案手法は,CIFAR-100-LTで15.6%,Tiny-ImageNet-LTで11.8%向上する。
  論文  参考訳（メタデータ） (2025-11-24T07:57:01Z)
• BridgeTA: Bridging the Representation Gap in Knowledge Distillation via Teacher Assistant for Bird's Eye View Map Segmentation [17.072492774587456]
  カメラのみのアプローチはLiDARの代替手段として注目されているが、それでもLiDAR-Camera (LC) 融合方式に遅れを取っている。 本稿では,LCフュージョンとカメラ専用モデルとの表現ギャップを埋める,費用対効果の高い蒸留フレームワークであるBridgeTAを紹介する。 提案手法は,カメラのみのベースラインよりも4.2% mIoUの改善を実現し,他の最先端KD法よりも最大45%向上した。
  論文  参考訳（メタデータ） (2025-08-13T08:28:21Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• OD-DETR: Online Distillation for Stabilizing Training of Detection Transformer [14.714768026997534]
  本稿では,オンライン蒸留によるDETRトレーニングの安定化を目的とする。 指数移動平均(EMA)で蓄積した教師モデルを利用する。 実験の結果,提案したOD-DETRはトレーニングの安定化に成功し,パラメータを増やすことなく性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-09T14:07:35Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• Distill or Annotate? Cost-Efficient Fine-Tuning of Compact Models [19.464992602919015]
  微調整された大型モデルは非常に効果的であるが、推論は高価であり、二酸化炭素を排出する可能性がある。 T5-XXL (11B) から T5-Small (60M) への蒸留は, より多くのデータに注釈を付けるよりも, ほぼ常にコスト効率のよい方法であることを示す。 コード、データセット、アノテーションのコスト見積、ベースラインモデルをベンチマークとして使用して、コンパクトモデルのコスト効率のトレーニングをさらに支援します。
  論文  参考訳（メタデータ） (2023-05-02T17:56:16Z)
• Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data [100.33096338195723]
  補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。 FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。 提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
  論文  参考訳（メタデータ） (2023-02-01T18:59:36Z)
• ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression [20.23732233214849]
  プレトレーニング言語モデル(PLM)を圧縮するための4段階進行蒸留フレームワークERNIE-Tinyを提案する。 実験によると、4層のERNIE-TinyはGLUEベンチマークで12層のBERTベースの98.0%のパフォーマンスを維持している。 ERNIE-Tinyは、中国の5つのNLPタスクに対する新しい圧縮SOTAを達成し、BERTベースの精度を0.4%上回り、パラメータは7.5倍、推論速度は9.4倍向上した。
  論文  参考訳（メタデータ） (2021-06-04T04:00:16Z)
• Unbiased Teacher for Semi-Supervised Object Detection [50.0087227400306]
  SS-OD(Semi-Supervised Object Detection)を再検討し,SS-ODにおける擬似ラベルバイアス問題を特定する。 学生と徐々に進歩する教師を相互に利益ある方法で共同で訓練するシンプルで効果的なアプローチであるUnbiased Teacherを紹介します。
  論文  参考訳（メタデータ） (2021-02-18T17:02:57Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。