論文の概要: Select Me! When You Need a Tool: A Black-box Text Attack on Tool Selection

• arxiv url: http://arxiv.org/abs/2504.04809v1
• Date: Mon, 07 Apr 2025 08:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:08:30.825296
• Title: Select Me! When You Need a Tool: A Black-box Text Attack on Tool Selection
• Title（参考訳）: ツールが必要な時、ツールの選択にブラックボックスのテキストアタック
• Authors: Liuji Chen, Hao Gao, Jinghao Zhang, Qiang Liu, Shu Wu, Liang Wang,
• Abstract要約: ツール学習は、大きな言語モデルの能力を拡張する強力な補助メカニズムとして機能する。 これまでの研究は主に、呼び出されたツールのアウトプットを誤った、あるいは悪意のあるものにする方法に重点を置いてきた。 我々は,ブラックボックスによるテキストベースの攻撃を初めて導入し,選択対象ツールの確率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 21.72195531150256
• License:
• Abstract: Tool learning serves as a powerful auxiliary mechanism that extends the capabilities of large language models (LLMs), enabling them to tackle complex tasks requiring real-time relevance or high precision operations. Behind its powerful capabilities lie some potential security issues. However, previous work has primarily focused on how to make the output of the invoked tools incorrect or malicious, with little attention given to the manipulation of tool selection. To fill this gap, we introduce, for the first time, a black-box text-based attack that can significantly increase the probability of the target tool being selected in this paper. We propose a two-level text perturbation attack witha coarse-to-fine granularity, attacking the text at both the word level and the character level. We conduct comprehensive experiments that demonstrate the attacker only needs to make some perturbations to the tool's textual information to significantly increase the possibility of the target tool being selected and ranked higher among the candidate tools. Our research reveals the vulnerability of the tool selection process and paves the way for future research on protecting this process.
• Abstract（参考訳）: ツール学習は、大規模言語モデル(LLM)の機能を拡張する強力な補助メカニズムとして機能し、リアルタイムの関連性や高精度な操作を必要とする複雑なタスクに対処することができる。 その強力な能力の背後には、潜在的なセキュリティ上の問題がある。 しかし、以前の研究は主に、ツール選択の操作にはほとんど注意を払わず、呼び出したツールの出力を誤って、悪意のあるものにする方法に重点を置いてきた。 このギャップを埋めるために、我々は初めてブラックボックステキストベースの攻撃を導入し、この論文で選択されたターゲットツールの確率を大幅に向上させることができる。 単語レベルと文字レベルの両方でテキストを攻撃し、粗粒度で2段階のテキスト摂動攻撃を提案する。 我々は,攻撃者がツールのテキスト情報に対してある程度の摂動を行う必要があることを実証する総合的な実験を行い,対象ツールが候補ツールの中から選択され,上位にランクされる可能性を大幅に向上させる。 本研究は,ツール選択プロセスの脆弱性を明らかにし,このプロセスを保護するための今後の研究の道を開くものである。

関連論文リスト

• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• ToolGen: Unified Tool Retrieval and Calling via Generation [34.34787641393914]
  ToolGenは、ツール知識を大きな言語モデルのパラメータに直接統合するパラダイムシフトです。 ToolGenは、ツール検索と自律タスク補完の両方において、優れた結果が得られることを示す。 ToolGenは、より汎用的で効率的で自律的なAIシステムを実現する。
  論文  参考訳（メタデータ） (2024-10-04T13:52:32Z)
• Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval [47.81307125613145]
  Re-Invokeは、トレーニングなしで大規模ツールセットに効果的にスケールするために設計された教師なしツール検索手法である。 我々は、クエリ毎に最も関連性の高いツールを特定するために、意図に基づいて、新しいマルチビュー類似度ランキング戦略を採用する。 評価の結果、Re-Invokeはシングルツールとマルチツールの両方のシナリオにおいて、最先端の代替よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-08-03T22:49:27Z)
• Tool Learning with Large Language Models: A Survey [60.733557487886635]
  大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。 この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
  論文  参考訳（メタデータ） (2024-05-28T08:01:26Z)
• TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
  本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。 ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
  論文  参考訳（メタデータ） (2024-02-21T22:41:38Z)
• ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of Large Language Models in Real-world Scenarios [49.33633818046644]
  本稿では,大規模言語モデルのツール学習能力を評価するためのシステムであるToolEyesを提案する。 このシステムは7つの現実シナリオを慎重に分析し、ツール学習においてLLMに不可欠な5次元を解析する。 ToolEyesには,約600のツールを備えたツールライブラリが組み込まれている。
  論文  参考訳（メタデータ） (2024-01-01T12:49:36Z)
• Understanding Tool Discovery and Tool Innovation Using Active Inference [1.0742675209112622]
  新しいツールを発明する能力は、新しい環境における問題解決の種としての我々の能力の重要な側面として認識されている。 人工エージェントによるツールの使用は難しい課題だが、エージェントによる新しいツールの発明に取り組む研究は、はるかに少ない。 エージェントの確率的生成モデルの隠れ状態に道具の余裕の概念を導入することで、ツール革新のおもちゃモデルを構築する。
  論文  参考訳（メタデータ） (2023-11-07T11:12:36Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• Testing of Detection Tools for AI-Generated Text [0.0]
  本稿では,人工知能生成テキストの検出ツールの機能について検討する。 精度と誤差型分析に基づいて評価する。 この研究は12の公開ツールと2つの商用システムをカバーする。
  論文  参考訳（メタデータ） (2023-06-21T16:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。