論文の概要: Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2602.21103v1
• Date: Tue, 24 Feb 2026 17:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.853098
• Title: Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning
• Title（参考訳）: Prompt-Level蒸留:効率的な推論のためのモデルファインチューニングのための非パラメトリック代替法
• Authors: Sanket Badhe, Deep Shah,
• Abstract要約: Chain-of-Thoughtは遅延を禁止し、かなりのテスト時間推論コストを発生させる。 PLD(Prompt-Level Distillation)について紹介する。 PLDは、教師モデルからの明確な推論パターンを、学生モデルのシステムプロンプトのための表現的指示の構造化リストに整理する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advanced reasoning typically requires Chain-of-Thought prompting, which is accurate but incurs prohibitive latency and substantial test-time inference costs. The standard alternative, fine-tuning smaller models, often sacrifices interpretability while introducing significant resource and operational overhead. To address these limitations, we introduce Prompt-Level Distillation (PLD). We extract explicit reasoning patterns from a Teacher model and organize them into a structured list of expressive instructions for the Student model's System Prompt. Evaluated on the StereoSet and Contract-NLI datasets using Gemma-3 4B, PLD improved Macro F1 scores from 57\% to 90.0\% and 67\% to 83\% respectively, enabling this compact model to match frontier performance with negligible latency overhead. These expressive instructions render the decision-making process transparent, allowing for full human verification of logic, making this approach ideal for regulated industries such as law, finance, and content moderation, as well as high-volume use cases and edge devices.
• Abstract（参考訳）: 高度な推論には一般的にChain-of-Thoughtのプロンプトが必要です。 標準的な代替案は、微調整された小さなモデルで、しばしば解釈性を犠牲にし、重要なリソースと運用上のオーバーヘッドを発生させる。 これらの制約に対処するため,Pmpt-Level Distillation (PLD)を導入する。 本研究では,教師モデルから明示的な推論パターンを抽出し,学生モデルのシステム・プロンプトの表現的指示の構造化リストに整理する。 StereoSetとContract-NLIデータセットをGemma-3 4Bで評価し、PLDはマクロF1スコアを57\%から90.0\%、67\%から83\%に改善した。 これらの表現力のある指示は意思決定プロセスを透過的にし、論理の完全な人間による検証を可能にし、このアプローチは法、財務、コンテンツモデレーションといった規制された産業や、高ボリュームのユースケースやエッジデバイスに理想的である。

関連論文リスト

• Plan-and-Write: Structure-Guided Length Control for LLMs without Model Retraining [2.168162018395079]
  本稿では,モデルの再トレーニングを伴わずに正確な長さ制御を可能にする,迅速な工学手法を提案する。 構造誘導型アプローチでは、プロンプト内に意図的な計画と単語カウント機構を実装し、モデルに指定された長さ制約を注意深く追跡し、従うように促す。 当社のアプローチは、正確な長さ制御を必要とするアプリケーションに対して、即時にデプロイ可能なソリューションを提供しています。
  論文  参考訳（メタデータ） (2025-11-03T18:10:42Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Self-Route: Automatic Mode Switching via Capability Estimation for Efficient Reasoning [36.470695895695044]
  Self-Routeは、一般的な推論モードと推論モードを自動的に選択する動的推論フレームワークである。 トークン消費量を30～55%削減しながら,自己ルートが推論モデルに匹敵する精度を実現していることを示す。
  論文  参考訳（メタデータ） (2025-05-27T03:18:31Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Lightweight Modular Parameter-Efficient Tuning for Open-Vocabulary Object Detection [2.1155908599769764]
  パラメータ効率の良いオープン語彙オブジェクト検出のための軽量なモジュラーフレームワークUniProj-Detを提案する。 UniProj-Detは事前訓練されたバックボーンを凍結し、学習可能なモダリティトークンを備えたユニバーサル・プロジェクション・モジュールを導入し、最小限のコストで視覚-言語適応を可能にする。
  論文  参考訳（メタデータ） (2024-08-20T12:27:53Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。