論文の概要: Distilling Tool Knowledge into Language Models via Back-Translated Traces

• arxiv url: http://arxiv.org/abs/2506.19171v1
• Date: Mon, 23 Jun 2025 22:10:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.409569
• Title: Distilling Tool Knowledge into Language Models via Back-Translated Traces
• Title（参考訳）: 逆変換トレースによる言語モデルへのツール知識の蒸留
• Authors: Xingyue Huang, Xianglong Hu, Zifeng Ding, Yuan He, Rishabh, Waleed Alzarooni, Ziyu Ye, Wendong Fan, Bailan He, Haige Bo, Changran Hu, Guohao Li,
• Abstract要約: 本稿では,ツール知識を言語モデル(LLM)に純粋に抽出するための新しいパラダイムを提案する。 Translator Agentは、個々のツールコールの説明を生成し、Rephrase Agentはそれらを合体させて、流動的でグローバルに一貫性のある物語にする。 これらの合成トレース上で小さなオープンソースモデルを微調整することで、ツール知識と構造化推論パターンの両方を内部化できることを示す。
• 参考スコア（独自算出の注目度）: 12.670632885715305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often struggle with mathematical problems that require exact computation or multi-step algebraic reasoning. Tool-integrated reasoning (TIR) offers a promising solution by leveraging external tools such as code interpreters to ensure correctness, but it introduces inference-time dependencies that hinder scalability and deployment. In this work, we propose a new paradigm for distilling tool knowledge into LLMs purely through natural language. We first construct a Solver Agent that solves math problems by interleaving planning, symbolic tool calls, and reflective reasoning. Then, using a back-translation pipeline powered by multiple LLM-based agents, we convert interleaved TIR traces into natural language reasoning traces. A Translator Agent generates explanations for individual tool calls, while a Rephrase Agent merges them into a fluent and globally coherent narrative. Empirically, we show that fine-tuning a small open-source model on these synthesized traces enables it to internalize both tool knowledge and structured reasoning patterns, yielding gains on competition-level math benchmarks without requiring tool access at inference.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、正確な計算や多段階代数的推論を必要とする数学的問題に悩まされることが多い。 ツール統合推論(TIR)は、コードインタプリタなどの外部ツールを活用して正確性を確保することで、有望なソリューションを提供する。 本研究では,ツール知識を自然言語で純粋にLLMに蒸留するための新しいパラダイムを提案する。 まず,計画,象徴的ツールコール,反射的推論を介し,数学問題を解くソルバーエージェントを構築した。 次に,複数のLDMエージェントをベースとしたバックトランスレーションパイプラインを用いて,インターリーブされたTIRトレースを自然言語推論トレースに変換する。 Translator Agentは個々のツールコールの説明を生成し、Rephrase Agentはそれらを合体させて、流動的でグローバルに一貫性のある物語にする。 実験により,これら合成トレース上で小さなオープンソースモデルを微調整することにより,ツール知識と構造化推論パターンの両方を内部化し,推論時にツールアクセスを必要とせずに,競合レベルのベンチマークでゲインが得られることを示す。

関連論文リスト

• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Training of Scaffolded Language Models with Language Supervision: A Survey [62.59629932720519]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。