論文の概要: Gaming Tool Preferences in Agentic LLMs

• arxiv url: http://arxiv.org/abs/2505.18135v1
• Date: Fri, 23 May 2025 17:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.25895
• Title: Gaming Tool Preferences in Agentic LLMs
• Title（参考訳）: エージェントLDMにおけるゲームツールの嗜好
• Authors: Kazem Faghih, Wenxiao Wang, Yize Cheng, Siddhant Bharti, Gaurang Sriramanan, Sriram Balasubramanian, Parsa Hosseini, Soheil Feizi,
• Abstract要約: 大規模な言語モデル(LLM)が、幅広い外部ツールにアクセスできるようになった。 LLMは、どのツールを使うかを決定するツールのテキスト記述に完全に依存している。
• 参考スコア（独自算出の注目度）: 43.391777105480486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can now access a wide range of external tools, thanks to the Model Context Protocol (MCP). This greatly expands their abilities as various agents. However, LLMs rely entirely on the text descriptions of tools to decide which ones to use--a process that is surprisingly fragile. In this work, we expose a vulnerability in prevalent tool/function-calling protocols by investigating a series of edits to tool descriptions, some of which can drastically increase a tool's usage from LLMs when competing with alternatives. Through controlled experiments, we show that tools with properly edited descriptions receive over 10 times more usage from GPT-4.1 and Qwen2.5-7B than tools with original descriptions. We further evaluate how various edits to tool descriptions perform when competing directly with one another and how these trends generalize or differ across a broader set of 10 different models. These phenomenons, while giving developers a powerful way to promote their tools, underscore the need for a more reliable foundation for agentic LLMs to select and utilize tools and resources.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、モデルコンテキストプロトコル(MCP)のおかげで、幅広い外部ツールにアクセスできるようになった。 これにより、様々なエージェントとしての能力が大きく拡張される。 しかし、LSMはどのツールを使うかを決めるためのツールのテキスト記述に完全に依存しています。 本研究では,ツール記述に対する一連の編集を調査することで,一般的なツール/関数呼び出しプロトコルの脆弱性を明らかにする。 制御された実験を通して、適切に編集された記述を持つツールは、元の記述を持つツールよりも10倍多くGPT-4.1およびQwen2.5-7Bから利用されていることを示す。 さらに、ツール記述に対する様々な編集が、直接競合するときにどのように機能するか、また、これらの傾向が10の異なるモデルのより広い範囲で一般化または異なるかを評価する。 これらの現象は、開発者がツールをプロモートする強力な方法を提供する一方で、ツールやリソースを選択および活用するためのエージェントLLMのためのより信頼性の高い基盤の必要性を浮き彫りにしている。

関連論文リスト

• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。