Fugu-MT 論文翻訳(概要): Re-Initialization Token Learning for Tool-Augmented Large Language Models

論文の概要: Re-Initialization Token Learning for Tool-Augmented Large Language Models

arxiv url: http://arxiv.org/abs/2506.14248v1
Date: Tue, 17 Jun 2025 07:11:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-18 17:34:59.370526
Title: Re-Initialization Token Learning for Tool-Augmented Large Language Models
Title（参考訳）: ツール強化大規模言語モデルのための再初期化学習
Authors: Chenghao Li, Liu Liu, Baosheng Yu, Jiayan Qiu, Yibing Zhan,
Abstract要約: 大規模言語モデルは例外的な性能を示してきたが、数値推論や計画生成といった複雑なタスクに苦戦している。本稿では,ツールトークンを既存の単語埋め込み空間と整合させる新しいトークン学習手法を提案する。本稿では,GSM8K-XL,FuncQA,KAMEL,VirtualHomeのデータセットを用いて,数値推論,知識に基づく質問応答,具体化計画生成などのタスクについて評価する。
参考スコア（独自算出の注目度）: 49.91503552002649
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models have demonstrated exceptional performance, yet struggle with complex tasks such as numerical reasoning, plan generation. Integrating external tools, such as calculators and databases, into large language models (LLMs) is crucial for enhancing problem-solving capabilities. Current methods assign a unique token to each tool, enabling LLMs to call tools through token prediction-similar to word generation. However, this approach fails to account for the relationship between tool and word tokens, limiting adaptability within pre-trained LLMs. To address this issue, we propose a novel token learning method that aligns tool tokens with the existing word embedding space from the perspective of initialization, thereby enhancing model performance. We begin by constructing prior token embeddings for each tool based on the tool's name or description, which are used to initialize and regularize the learnable tool token embeddings. This ensures the learned embeddings are well-aligned with the word token space, improving tool call accuracy. We evaluate the method on tasks such as numerical reasoning, knowledge-based question answering, and embodied plan generation using GSM8K-XL, FuncQA, KAMEL, and VirtualHome datasets. The results demonstrate clear improvements over recent baselines, including CoT, REACT, ICL, and ToolkenGPT, indicating that our approach effectively augments LLMs with tools through relevant tokens across diverse domains.
Abstract（参考訳）: 大規模言語モデルは例外的な性能を示してきたが、数値推論や計画生成といった複雑なタスクに苦戦している。計算機やデータベースなどの外部ツールを大規模言語モデル(LLM)に統合することは、問題解決能力の向上に不可欠である。現在の手法では各ツールにユニークなトークンを割り当て、LLMは単語生成に類似したトークン予測を通じてツールを呼び出すことができる。しかし、このアプローチはツールトークンとワードトークンの関係を考慮せず、事前訓練されたLLMの適応性を制限する。そこで本研究では,初期化の観点から,ツールトークンを既存の単語埋め込み空間と整合させる新しいトークン学習手法を提案する。まず、学習可能なツールトークンの埋め込みの初期化と正規化に使用されるツール名や記述に基づいて、各ツールに対する事前トークンの埋め込みを構築します。これにより、学習した埋め込みがワードトークン空間と適切に一致し、ツールコールの精度が向上する。本稿では,GSM8K-XL,FuncQA,KAMEL,VirtualHomeのデータセットを用いて,数値推論,知識に基づく質問応答,具体化計画生成などのタスクについて評価する。その結果、CoT、REACT、ICL、ToolkenGPTなどの最近のベースラインよりも明らかに改善され、多様なドメインにまたがる関連するトークンを通じて、当社のアプローチがLLMを効果的に強化することを示す。

論文の概要: Re-Initialization Token Learning for Tool-Augmented Large Language Models

関連論文リスト