論文の概要: Separate Field Scoring Protects Unused Tools When Agents Pool Tool-Use Experience
- arxiv url: http://arxiv.org/abs/2610.30867v1
- Date: Thu, 22 Oct 2026 07:45:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.273193
- Title: Separate Field Scoring Protects Unused Tools When Agents Pool Tool-Use Experience
- Title(参考訳): エージェントがツールの使用経験を損なうとき、未使用のツールを保護するフィールドスコーリング
- Abstract要約: 共有カタログからツールを呼び出すエージェントは、どのツールがどのリクエストに役立つかを学ぶことができる。
使用ツールの追加エントリとして、インデックスに使用例を追加することで、これらのツールのHit@5が上昇する。
ツールを使用すれば、他のツールのテキストで満たされた同じ数の長いエントリが、Hit@5と同じ程度で保持されます。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agents that call tools from a shared catalog can pool what they learn about which tool serves which request. We measure what pooled usage examples do to tool retrieval, reporting separately the held-out tools, for which no agent has usage, and all other tools. Adding usage examples to the index as extra entries for used tools raises Hit@5 (whether a gold tool is in the top five) for those tools and lowers it for held-out tools, by a large margin on two of three catalogs and with both embedders we tested. Giving used tools the same number of equally long entries filled with other tools' text lowers held-out Hit@5 about as much, but gives little or none of the gain. We call our method of scoring usage as its own field SYNAPSE. On StableToolBench, the held-out gold tool appears in its top five more often than with a router that reserves slots for usage (0.785 against 0.683), and this held-out lead holds on all three catalogs with both embedders. This protection persisted when we replaced each tool's usage with other tools' text, and a constant score offset for tools with usage gives similar held-out Hit@5 in most settings. The gain for tools with usage, in contrast, needs usage about the right tool. The router keeps more of the gain on labeled queries on TOUCAN with both embedders and on ToolRet with one, so the better choice depends on the workload. Splitting the usage among ten simulated agents shows that pooling helps exactly as much as giving one agent the same records.
- Abstract(参考訳): 共有カタログからツールを呼び出すエージェントは、どのツールがどのリクエストに役立つかを学ぶことができる。
我々は、プールされた利用例がツール検索、保持されたツールを別々にレポートするために何をするかを測定する。
使用済みツールへの追加エントリとして、インデックスに使用例を追加することで、Hit@5(金のツールがトップ5に入るかどうかに関わらず)が上昇し、3つのカタログのうち2つと、テスト対象の組込み物に対して大きな差で、ホールドアウトツールに対する使用例が低下する。
ツールを使用すれば、他のツールのテキストで満たされた同じ数の長いエントリが、Hit@5と同じ程度で保持されます。
我々はこの手法をSynAPSEのフィールドとして評価する。
StableToolBenchでは、このホールドアウトの金のツールは、使用のためのスロットを予約するルータ(0.785対0.683)よりも、上位5つに頻繁に表示され、このホールドアウトのリードは、両方の埋め込み器を備えた3つのカタログ全てに保持されている。
この保護は、各ツールの使用を他のツールのテキストに置き換えた時に継続する。
対照的に、使用するツールの獲得には、適切なツールに関する使用方法が必要である。
ルータは、TOUCANのラベル付きクエリと、ToolRetのどちらでも、より多く得ているので、より良い選択は、ワークロードに依存します。
10個の模擬エージェントを分割すると、プールは1つのエージェントに同じレコードを与えるのと同じくらいの助けになる。
関連論文リスト
- Tool Recommendation for Multi-Step Agents: Finding Every Tool a Task Needs [0.0]
マルチステップのエージェントタスクは、ひとつのツールが欠けているときに失敗するが、エージェントが必要とするツールはリストに多すぎる。
エージェントにすべてのエージェントを与えるデプロイシステムであるTool Recommendationを紹介します。
ToolRetでは、Tool Recommendationは、クエリに必要なすべてのツールを、BM25よりも57%高い頻度でトップ10に配置する。
論文 参考訳(メタデータ) (2026-10-16T16:30:38Z) - ToolAtlas: Learning Once, Reusing Everywhere with Tool-Side Memory [49.08868447320197]
大規模言語モデル(LLM)エージェントは、共有プロバイダが提供する外部ツールにますます依存している。
既存のアプローチでは、パラメータ更新、プロンプトリファインメント、エージェント側のメモリを通じて、エージェント側のツール使用を改善する。
グラフベースのフレームワークであるToolAtlasを紹介します。
論文 参考訳(メタデータ) (2026-07-13T06:01:41Z) - ToolFailBench: Diagnosing Tool-Use Failures in LLM Agents [0.0]
ToolFailBenchは、ツール使用障害を測定するための診断ベンチマークである。
それぞれのトレースをTool-Skip、Result-Ignore、Output-Fabrication、Unnecessary-Tool-Useとラベル付けします。
論文 参考訳(メタデータ) (2026-07-06T05:25:21Z) - Do Multimodal Agents Really Benefit from Tool Use? A Systematic Study of Capability Gains [20.11899219087138]
画像のエージェントであるThymeとDeepEyesV2を用いて、現実世界の理解、OCR、チャート理解、数学的推論の2つの代表的思考について検討する。
ツールアクセスは、一貫した集約的改善がほとんど得られず、生成したコストを確実に削減することができず、小さなツールのみの解決セットのみを残している。
論文 参考訳(メタデータ) (2026-06-01T15:04:25Z) - ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering [2.6928305857508974]
本稿では,ツール拡張型Large Language Model (LLM)エージェントに対する検索層攻撃であるToolFloodを紹介する。
検索後にどのツールが選択されるかを変更するのではなく、ToolFloodは、いくつかのアタッカー制御ツールを注入することで、検索自体を圧倒する。
ToolFloodは、95%のアタック成功率と低インジェクション率を実現している。
論文 参考訳(メタデータ) (2026-03-14T13:54:49Z) - Tool Preferences in Agentic LLMs are Unreliable [46.302564611198754]
大規模な言語モデル(LLM)が、幅広い外部ツールにアクセスできるようになった。
LLMは、どのツールを使うかを決定するツールのテキスト記述に完全に依存している。
論文 参考訳(メタデータ) (2025-05-23T17:43:48Z) - Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval [47.81307125613145]
Re-Invokeは、トレーニングなしで大規模ツールセットに効果的にスケールするために設計された教師なしツール検索手法である。
我々は、クエリ毎に最も関連性の高いツールを特定するために、意図に基づいて、新しいマルチビュー類似度ランキング戦略を採用する。
評価の結果、Re-Invokeはシングルツールとマルチツールの両方のシナリオにおいて、最先端の代替よりも大幅に優れていた。
論文 参考訳(メタデータ) (2024-08-03T22:49:27Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2024-01-11T15:45:11Z) - Tool Documentation Enables Zero-Shot Tool-Usage with Large Language
Models [90.96816639172464]
大規模言語モデル(LLM)は、ツールの使用のデモを提供することで、新しいツールを使用するように教えられている。
デモよりも、ツールドキュメンテーションの使用、個々のツール使用方法の説明を推奨します。
論文 参考訳(メタデータ) (2023-08-01T17:21:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。