論文の概要: MLLMs Fail to Refuse when Using Tools Agentically

• arxiv url: http://arxiv.org/abs/2610.03938v1
• Date: Fri, 02 Oct 2026 18:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:16:11.783227
• Title: MLLMs Fail to Refuse when Using Tools Agentically
• Title（参考訳）: MLLMはツールを役に立たない
• Abstract要約: エージェントマルチモーダル大言語モデル(MLLM)は、最近、ズームやタグ付けなどのツールを呼び出すことによって、視覚的推論のフロンティアを推し進めている。 エージェントツールを使用するMLLMは、有害な要求を拒否する能力が低下する。
• 参考スコア（独自算出の注目度）: 40.622441304902445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic multimodal large language models (MLLMs) have recently pushed the frontier of visual reasoning by calling tools such as zooming and tagging. Despite the recent strong success of agentic MLLMs, this work uncovers a critical safety failure in the tool-use paradigm: agentic tool-using MLLMs become less capable of refusing harmful requests. Our experiments confirm that, across three popular safety benchmarks, all the top open- and closed-weight MLLMs we test exhibit significantly lower safety in tool-using settings than in non-tool settings, with a relative refusal failure rate increase of up to 68.7%. Based on analysis of 100,000+ responses, including extended experiments, we also propose two possible reasons for this safety degradation.
• Abstract（参考訳）: エージェントマルチモーダル大言語モデル(MLLM)は、最近、ズームやタグ付けなどのツールを呼び出すことによって、視覚的推論のフロンティアを推し進めている。 エージェント型MLLMの最近の成功にもかかわらず、この研究はツール使用パラダイムにおける重大な安全性の失敗を明らかにしている。 実験の結果,3つの一般的な安全性ベンチマークにおいて,ツール使用時の安全性はツール使用時の安全性がツール以外の設定よりも有意に低く,相対的な障害率の68.7%向上が確認された。 拡張実験を含む10,000以上の応答の分析に基づいて, この安全性劣化の原因を2つ提案する。

関連論文リスト

• Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
  我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
  論文  参考訳（メタデータ） (2024-03-14T17:03:04Z)
• MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models [41.708401515627784]
  我々は,Multimodal Large Language Models (MLLM) がクエリ関連画像によって容易に損なわれることを観察した。 画像ベース操作に対するMLLMの安全性クリティカルな評価を行うためのフレームワークであるMM-SafetyBenchを紹介する。 我々の研究は、潜在的に悪意のある悪用に対して、オープンソースのMLLMの安全性対策を強化し、強化するための協力的な努力の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-11-29T12:49:45Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。