論文の概要: Do LLMs Know Tool Irrelevance? Demystifying Structural Alignment Bias in Tool Invocations

• arxiv url: http://arxiv.org/abs/2604.11322v1
• Date: Mon, 13 Apr 2026 11:23:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.500246
• Title: Do LLMs Know Tool Irrelevance? Demystifying Structural Alignment Bias in Tool Invocations
• Title（参考訳）: LLMはツールの不適切さを知っているか? ツール呼び出しにおける構造的アライメントバイアスの最小化
• Authors: Yilong Liu, Xixun Lin, Pengfei Cao, Ge Zhang, Fang Fang, Yanan Cao,
• Abstract要約: 大規模言語モデル (LLM) は、外部ツールを利用する際の優れた能力を実証している。 LLMは、しばしばユーザーのクエリに関係のないツールに晒される。 ツールがユーザの目標を達成できなかったとしても、クエリ属性がツールパラメータに有効に割り当てられる場合、LSMはそれを呼び出す傾向があります。
• 参考スコア（独自算出の注目度）: 32.820855447313825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated impressive capabilities in utilizing external tools. In practice, however, LLMs are often exposed to tools that are irrelevant to the user's query, in which case the desired behavior is to refrain from invocations. In this work, we identify a widespread yet overlooked mechanistic flaw in tool refusal, which we term structural alignment bias: Even when a tool fails to serve the user's goal, LLMs still tend to invoke it whenever query attributes can be validly assigned to tool parameters. To systematically study this bias, we introduce SABEval, a new dataset that decouples structural alignment from semantic relevance. Our analysis shows that structural alignment bias induces severe tool-invocation errors in LLMs, yet remains largely unaccounted for in existing evaluations. To investigate the internal mechanisms underlying this bias, we propose Contrastive Attention Attribution, which reveals two competing pathways for semantic checking and structural matching. The relative strength of these pathways drives LLMs' tool invocation decisions. Based on these findings, we further introduce a rebalancing strategy that effectively mitigates structural alignment bias, as demonstrated by extensive experiments, without degrading general tool-use capabilities.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、外部ツールを利用する際の優れた能力を実証している。 しかし、実際には、LCMはユーザーのクエリに関係のないツールに晒されることが多く、その場合、望ましい振る舞いは呼び出しを控えることである。 ツールがユーザの目標を達成できない場合でも、クエリ属性がツールパラメータに有効に割り当てられる場合、LSMはそれを起動する傾向があります。 このバイアスを体系的に研究するために、セマンティックな関連性から構造的アライメントを分離する新しいデータセットであるSABEvalを紹介します。 解析の結果、構造的アライメントバイアスはLSMにおいて深刻なツール起動エラーを引き起こすが、既存の評価では未確認であることがわかった。 このバイアスの根底にある内部メカニズムを解明するため、コントラスト的注意属性(Contrastive Attention Attribution)を提案し、セマンティックチェックと構造マッチングの競合する2つの経路を明らかにする。 これらの経路の相対的な強度は、LSMのツール実行決定を駆動する。 これらの知見に基づき, 汎用ツールの能力を低下させることなく, 構造的アライメントバイアスを効果的に緩和する再バランス戦略を導入する。

関連論文リスト

• Improving Large Language Models Function Calling and Interpretability via Guided-Structured Templates [56.73907811047611]
  大規模言語モデル(LLM)は強力な推論とツール使用能力を示している。 LLMは、誤ったパラメータ化、悪いツールの選択、ユーザーの意図の誤解釈によって、現実世界のツールインタラクションで失敗することが多い。 我々は、構造化推論テンプレートを利用して、関数呼び出しを生成するためのより故意なステップバイステップ命令を通してLCMをガイドするカリキュラムに着想を得たフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-22T17:55:14Z)
• RefTool: Enhancing Model Reasoning with Reference-Guided Tool Creation [44.128974924517465]
  RefToolは、自動ツール作成のための参照誘導フレームワークである。 リファレンスコンテンツから実行可能なツールを生成し、イラストレーションの例を使って検証し、階層的にツールボックスに整理する。 因果性、物理、化学ベンチマークの実験では、RefToolが既存のツール作成法やドメイン固有の推論法より優れていることが示されている。
  論文  参考訳（メタデータ） (2025-05-27T16:41:19Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。