論文の概要: ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs

• arxiv url: http://arxiv.org/abs/2607.14285v1
• Date: Wed, 15 Jul 2026 18:48:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.88961
• Title: ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs
• Title（参考訳）: ToolAlignBench: ツールカリング可能なLLMにおけるアライメント競合の調査
• Abstract要約: 安全に整合したオープンソースモデルは、デプロイメントの指示を最大43.4%上回っていることが分かりました。 また,消音によって外耳吹の頻度が低下することが判明した。 これらの結果から,多元的アライメントにおける基本的な緊張感が明らかとなり,ユーザが保護する同じ安全トレーニングが,予測不能な責任リスクを生み出す方法で,エージェントの配置指示に対する行動を引き起こす可能性がある。
• 参考スコア（独自算出の注目度）: 11.599619860803472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety alignment in LLMs aims to align models with human values, but which values take precedence when they conflict? We investigate this question in the context of tool-calling LLM agents deployed in regulated industries, where agents processing confidential documents may encounter content that triggers safety-trained values (e.g., public welfare) that conflict with deployment-context instructions (e.g., internal logging). To empirically verify this phenomenon, we build a benchmark of 128 scenarios across 16 domains. We find that safety-aligned open-source models override their deployment instructions up to 43.4% of the time, engaging in whistleblowing, data exfiltration, and evidence tampering when processing documents that suggest organizational wrongdoing. We also find that abliteration reduces rates of external whistleblowing. These results reveal a fundamental tension in pluralistic alignment, where the same safety training that protects users can cause agents to act against deployment instructions in ways that create unpredictable liability risks. We release our benchmark as a framework to support evaluation of agent behavior under competing legitimate interests.
• Abstract（参考訳）: LLMにおける安全性の整合性は、モデルを人間の価値と整合させることを目的としています。 規制業界に展開されるLDMエージェントのツールコールの文脈において、機密文書を処理するエージェントは、配置内容の指示(内部ログなど)に反する安全訓練された価値(公共福祉など)を誘発するコンテンツに遭遇する可能性がある。 この現象を実証的に検証するために、我々は16ドメインにまたがる128のシナリオのベンチマークを構築した。 安全に整合したオープンソースモデルは、そのデプロイメント命令を43.4%まで上回り、組織的な不正行為を示唆する文書を処理する際に、内部告発、データ流出、証拠の改ざんに携わる。 また,消音によって外耳吹の頻度が低下することが判明した。 これらの結果から,多元的アライメントにおける基本的な緊張感が明らかとなり,ユーザが保護する同じ安全トレーニングが,予測不能な責任リスクを生み出す方法で,エージェントの配置指示に対する行動を引き起こす可能性がある。 我々は、競合する正当な利益の下でのエージェント行動の評価を支援するためのフレームワークとして、ベンチマークをリリースする。

関連論文リスト

• Adversarial Attacks in Multi-Agent LLM Pipelines: Unveiling Structural Vulnerabilities in Agentic AI Architectures [4.053243845971823]
  マルチエージェントLLMパイプラインは、特殊な言語モデルエージェントを構造化し、中間出力をエージェント間で渡して複雑なタスクを解決する。 この設計では、単一のエージェント設定にないセキュリティギャップが導入されている。 この脆弱性は、エージェント間の境界を越える際に、データの明示的な検証を強制するセキュリティプリミティブである境界検証の欠如に起因している、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-08-01T15:35:58Z)
• AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
  大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。 既存の安全機構は主に外部ガードレールに依存している。 我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
  論文  参考訳（メタデータ） (2026-06-21T21:13:55Z)
• Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation [13.654207263751156]
  大規模言語モデル(LLM)エージェントは、会話インターフェースから、計画し、ツールを呼び出し、メモリを保守し、外部環境に作用するソフトウェアコンポーネントへと急速に移行している。 本稿では,情報フロー,委任権限,永続状態の相互作用に関するエージェントのセキュリティをモデル化するライフサイクルベースのシステム指向フレームワークを用いて,247の論文を合成する。 また, プロンプトインジェクションとツールによる制御-フローハイジャックが依然としてこの分野を支配しているのに対し, 永続的な状態破壊とマルチエージェントの伝播が中心的な関心事となっている。
  論文  参考訳（メタデータ） (2026-06-09T12:01:07Z)
• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents [2.905751301655124]
  本稿では,LLMエージェントの検索による安全性劣化を診断するフレームワークであるAgentREVEALを紹介する。 警告を含むページやリスク宣言を含むページなど,反対あるいは安全指向のソースであっても,有害なコンプライアンスを平均25%増加させることができることを示す。 関連性も検索に役立つので、これらの結果は検索可能なエージェントの安全利用トレードオフを露呈する。
  論文  参考訳（メタデータ） (2026-05-28T01:23:48Z)
• Securing LLM Agents Need Intent-to-Execution Integrity [49.490963596514185]
  我々は, LLMエージェントの確保には, エージェントの実行がユーザの意図を忠実に反映した場合に規定するエンドツーエンドの正当性を定義する必要があると主張している。 LLMエージェントはコンパイラと構造的に類似しており、セキュリティ違反はユーザ意図を保存しない誤った実行に対応する。 emphTool整合性、emph命令整合性、emphJudgment整合性、emphData整合性。
  論文  参考訳（メタデータ） (2026-05-16T12:53:31Z)
• The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents [0.3823356975862005]
  本研究は,大規模言語モデル(LLM)の安全アライメントがいかに変化するかを実証的に検証する。 決定論的金融取引環境において、1500シナリオにわたる二元的安全制約を伴う実験を行う。 どちらのモデルも、テキストのみの設定では完全なコンプライアンスを維持しているが、ツールアクセスが導入されると、違反が大幅に増加する。
  論文  参考訳（メタデータ） (2026-03-19T23:34:46Z)
• You Told Me to Do It: Measuring Instructional Text-induced Private Data Leakage in LLM Agents [9.719776777345364]
  外部文書を自律的に処理する高特権のLLMエージェントは、タスクを自動化するためにますます信頼されている。 これらのエージェントには、最小限のセキュリティ監視で端末アクセス、制御、アウトバウンドネットワーク接続が与えられる。 emphTrusted Executor Dilemmaと呼ばれるこの信頼モデルの基本的脆弱性を測定する。 この脆弱性は、実装バグではなく、命令追従設計パラダイムの構造的な結果である。
  論文  参考訳（メタデータ） (2026-03-12T12:35:46Z)
• ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
  エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
  論文  参考訳（メタデータ） (2026-01-15T07:54:32Z)
• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• Enterprise AI Must Enforce Participant-Aware Access Control [9.68210477539956]
  大規模言語モデル(LLM)は、複数のユーザと対話し、センシティブな内部データに基づいてトレーニングあるいは微調整されるエンタープライズ環境に、ますます多くデプロイされている。 敵は、現在の微調整アーキテクチャやRAGアーキテクチャを利用して、アクセス制御の強制力の欠如を活用して機密情報を漏洩することができることを示す。 本稿では, LLM による学習, 検索, 生成に使用されるコンテンツは, インセンティブに関わるユーザに対して明示的に認証される,という原則に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T04:30:49Z)
• AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents [48.925168866726814]
  AgentAuditorは、トレーニングなし、メモリ拡張推論フレームワークである。 ASSEBenchは、LLMベースの評価器が安全リスクとセキュリティ上の脅威の両方を見つけることができるかを確認するために設計された最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-31T17:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。