論文の概要: Distilling LLM Reasoning into Graph of Concept Predictors

• arxiv url: http://arxiv.org/abs/2602.03006v1
• Date: Tue, 03 Feb 2026 02:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.191943
• Title: Distilling LLM Reasoning into Graph of Concept Predictors
• Title（参考訳）: 概念予測器のグラフへのLLM推論の蒸留
• Authors: Ziyang Yu, Liang Zhao,
• Abstract要約: Graph of Concept Predictors (GCP)は、推論を意識したアクティブ蒸留フレームワークである。 教師の決定過程を有向非巡回グラフとして外部化し、学生のモジュラー概念予測器で反映する。 これは、重要な推論ノードにおける不確実性と不一致をターゲットとするグラフ対応の取得戦略を通じて、サンプル効率を向上させる。
• 参考スコア（独自算出の注目度）: 6.807980297471431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying Large Language Models (LLMs) for discriminative workloads is often limited by inference latency, compute, and API costs at scale. Active distillation reduces these costs by querying an LLM oracle to train compact discriminative students, but most pipelines distill only final labels, discarding intermediate reasoning signals and offering limited diagnostics of what reasoning is missing and where errors arise. We propose Graph of Concept Predictors (GCP), a reasoning-aware active distillation framework that externalizes the teacher's decision process as a directed acyclic graph and mirrors it with modular concept predictors in the student. GCP enhances sample efficiency through a graph-aware acquisition strategy that targets uncertainty and disagreement at critical reasoning nodes. Additionally, it improves training stability and efficiency by performing targeted sub-module retraining, which attributes downstream loss to specific concept predictors and updates only the most influential modules. Experiments on eight NLP classification benchmarks demonstrate that GCP enhances performance under limited annotation budgets while yielding more interpretable and controllable training dynamics. Code is available at: https://github.com/Ziyang-Yu/GCP.
• Abstract（参考訳）: 差別的なワークロードに対してLLM(Large Language Models)をデプロイすることは、大規模な推論レイテンシ、計算、APIコストによって制限されることが多い。 しかし、ほとんどのパイプラインは最終ラベルのみを蒸留し、中間的推論信号を捨て、どの推論が欠けているか、どこでエラーが発生したかの限られた診断を提供する。 本稿では,教師の意思決定プロセスを非巡回グラフとして外部化し,学生のモジュール型概念予測器で反映する推論対応アクティブ蒸留フレームワークである概念予測器のグラフ(GCP)を提案する。 GCPは、重要な推論ノードにおける不確実性と不一致をターゲットとする、グラフ対応の取得戦略を通じて、サンプル効率を向上させる。 さらに、ターゲットとするサブモジュールの再トレーニングを実行することで、トレーニングの安定性と効率が向上する。 8つのNLP分類ベンチマークの実験では、GCPは限定的なアノテーション予算の下でパフォーマンスを向上し、解釈可能で制御可能なトレーニングダイナミクスが得られている。 コードは、https://github.com/Ziyang-Yu/GCP.comで入手できる。

関連論文リスト

• Autonomous Chain-of-Thought Distillation for Graph-Based Fraud Detection [73.9189065770752]
  テキスト分散グラフ(TAG)上のグラフベースの不正検出には、リッチテキストセマンティクスとリレーショナル依存関係を共同でモデル化する必要がある。 我々は,自律型グラフ認識チェーン(CoT)推論とスケーラブルなLLM-GNN協調学習を通じて,TAGに基づく不正検出を促進する統一フレームワークであるFraudCoTを提案する。
  論文  参考訳（メタデータ） (2026-01-30T13:12:12Z)
• Graph Reasoning Paradigm: Structured and Symbolic Reasoning with Topology-Aware Reinforcement Learning for Large Language Models [45.28250076657801]
  Long Chain-of-Thought (LCoT) は,Large Language Models (LLM) の推論能力の向上に有効であることが証明されている。 RLVRベースの最適化にもかかわらず、既存の手法はいまだに粗大な監督、報酬のハッキング、高いトレーニングコスト、一般化の欠如に悩まされている。 ステップレベルの認知ラベルを持つグラフ構造化表現を用いて,構造化および記号的推論を実現するグラフ推論パラダイム(GRP)を提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:23:00Z)
• ActDistill: General Action-Guided Self-Derived Distillation for Efficient Vision-Language-Action Models [14.202025149504715]
  本稿では,既存のVLAモデルの動作予測機能を軽量モデルに転送するフレームワークであるActDistillを提案する。 我々は教師としてよく訓練されたVLAモデルを採用し、グラフ構造化カプセル化戦略を導入し、行動予測の階層的進化を明示的にモデル化する。 具現化されたベンチマークの実験では、ActDistillはフルスケールのVLAモデルと同等または優れた性能を達成し、計算を最大1.67倍のスピードアップで50%以上削減した。
  論文  参考訳（メタデータ） (2025-11-22T14:44:03Z)
• Informed Routing in LLMs: Smarter Token-Level Computation for Faster Inference [7.690958366125321]
  本稿では,これらの問題に積極的に対処する新しいパラダイムであるインフォメーションルーティングを紹介する。 我々は、ルーティング決定を行う前に、ユニットの出力を推定する小さな予測モジュールである軽量特徴予測器(LFF)を提案する。 言語モデリングと推論タスクの両方の実験は、情報ルーティングが最先端の効率と性能のトレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-10T09:59:36Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Overcoming Pitfalls in Graph Contrastive Learning Evaluation: Toward Comprehensive Benchmarks [60.82579717007963]
  本稿では,グラフコントラスト学習(GCL)手法の有効性,一貫性,全体的な能力をより正確に評価するために,拡張された評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T01:47:56Z)
• ELAD: Explanation-Guided Large Language Models Active Distillation [16.243249111524403]
  LLM(Large Language Models)のデプロイメントと適用は、そのメモリ非効率性、計算要求、API推論の高コストによって妨げられている。 LLMの能力をより小さなモデルに伝達する伝統的な蒸留法は、知識が十分に伝達されているかどうかを判断できないことが多い。 本稿では,アノテーションコストとモデル性能のバランスを最適化するために,アクティブラーニング戦略を用いた説明誘導型ELAD(Explaination-Guided LLMs Active Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-20T15:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。