論文の概要: Gaming Tool Preferences in Agentic LLMs

• arxiv url: http://arxiv.org/abs/2505.18135v1
• Date: Fri, 23 May 2025 17:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.25895
• Title: Gaming Tool Preferences in Agentic LLMs
• Title（参考訳）: エージェントLDMにおけるゲームツールの嗜好
• Authors: Kazem Faghih, Wenxiao Wang, Yize Cheng, Siddhant Bharti, Gaurang Sriramanan, Sriram Balasubramanian, Parsa Hosseini, Soheil Feizi,
• Abstract要約: 大規模な言語モデル(LLM)が、幅広い外部ツールにアクセスできるようになった。 LLMは、どのツールを使うかを決定するツールのテキスト記述に完全に依存している。
• 参考スコア（独自算出の注目度）: 43.391777105480486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can now access a wide range of external tools, thanks to the Model Context Protocol (MCP). This greatly expands their abilities as various agents. However, LLMs rely entirely on the text descriptions of tools to decide which ones to use--a process that is surprisingly fragile. In this work, we expose a vulnerability in prevalent tool/function-calling protocols by investigating a series of edits to tool descriptions, some of which can drastically increase a tool's usage from LLMs when competing with alternatives. Through controlled experiments, we show that tools with properly edited descriptions receive over 10 times more usage from GPT-4.1 and Qwen2.5-7B than tools with original descriptions. We further evaluate how various edits to tool descriptions perform when competing directly with one another and how these trends generalize or differ across a broader set of 10 different models. These phenomenons, while giving developers a powerful way to promote their tools, underscore the need for a more reliable foundation for agentic LLMs to select and utilize tools and resources.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、モデルコンテキストプロトコル(MCP)のおかげで、幅広い外部ツールにアクセスできるようになった。 これにより、様々なエージェントとしての能力が大きく拡張される。 しかし、LSMはどのツールを使うかを決めるためのツールのテキスト記述に完全に依存しています。 本研究では,ツール記述に対する一連の編集を調査することで,一般的なツール/関数呼び出しプロトコルの脆弱性を明らかにする。 制御された実験を通して、適切に編集された記述を持つツールは、元の記述を持つツールよりも10倍多くGPT-4.1およびQwen2.5-7Bから利用されていることを示す。 さらに、ツール記述に対する様々な編集が、直接競合するときにどのように機能するか、また、これらの傾向が10の異なるモデルのより広い範囲で一般化または異なるかを評価する。 これらの現象は、開発者がツールをプロモートする強力な方法を提供する一方で、ツールやリソースを選択および活用するためのエージェントLLMのためのより信頼性の高い基盤の必要性を浮き彫りにしている。

関連論文リスト

• RefTool: Enhancing Model Reasoning with Reference-Guided Tool Creation [44.128974924517465]
  RefToolは、自動ツール作成のための参照誘導フレームワークである。 リファレンスコンテンツから実行可能なツールを生成し、イラストレーションの例を使って検証し、階層的にツールボックスに整理する。 因果性、物理、化学ベンチマークの実験では、RefToolが既存のツール作成法やドメイン固有の推論法より優れていることが示されている。
  論文  参考訳（メタデータ） (2025-05-27T16:41:19Z)
• PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
  大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。 PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。 LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
  論文  参考訳（メタデータ） (2024-11-14T17:33:36Z)
• Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
  大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。 以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。 LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Let Me Do It For You: Towards LLM Empowered Recommendation via Tool Learning [57.523454568002144]
  大きな言語モデル(LLM)は、常識的な推論と外部ツールの活用の能力を示している。 ツール学習を通じてLLMを活用したレコメンデーションのためのフレームワークであるToolRecを紹介する。 属性の粒度を探索するプロセスとして推薦プロセスを定式化する。 属性指向ツールには,ランクツールと検索ツールの2種類がある。
  論文  参考訳（メタデータ） (2024-05-24T00:06:54Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [26.28459880766842]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。