論文の概要: Safety for Whom? Benchmarking Understanding Beyond Refusal in Egocentric Multimodal Assistants

• arxiv url: http://arxiv.org/abs/2610.17728v1
• Date: Tue, 13 Oct 2026 05:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.523839
• Title: Safety for Whom? Benchmarking Understanding Beyond Refusal in Egocentric Multimodal Assistants
• Title（参考訳）: 誰が安全か : 自己中心型マルチモーダルアシスタントにおける拒絶以外の理解のベンチマーク
• Abstract要約: エゴセントリックなマルチモーダルアシスタントは、ユーザの目を通して、ユーザが次に何をするかをガイドします。 しかし、既存の安全性評価では、応答が損なわれるかどうかを区別せず、モデルが拒否するかどうかのみを評価する。 我々は,ユーザをターゲットとした2,902のエゴセントリックなビデオオーディオおよびビデオテキストクエリのベンチマークであるSTOUを提案する。
• 参考スコア（独自算出の注目度）: 6.326585185206821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Egocentric multimodal assistants see through the user's eyes and guide what the user does next, so their outputs directly shape physical actions, including those that affect bystanders. Yet existing safety evaluations do not distinguish whom a response would harm, and score only whether a model refuses. Pooling all harms into one refusal rate hides two failures: a model may protect one target but not another, and it may refuse without understanding the risk, or understand it and comply anyway. We present STOU, a benchmark of 2,902 egocentric video-audio and video-text queries whose potential harm targets the user (Self), co-present individuals (The Others), or society at large (Others). Our evaluation decouples safety understanding from refusal behavior: beyond refusal, we score whether the model recognizes the user's intent, the presence and target of harm, and its downstream consequences. Across 10 open and closed source omnimodal and multimodal LLMs, we find that refusal varies systematically with the harm target, and that models often recognize a harm yet still assist with it. These results show that refusal rates alone cannot certify an assistant as safe, and that safety alignment must account for who would be harmed. Project page: https://onedayoneyeah.github.io/safety-for-whom
• Abstract（参考訳）: エゴセントリックなマルチモーダルアシスタントは、ユーザの目を通して、ユーザが次に何をするかを案内するので、アウトプットは、傍観者に影響を与えるものを含む、物理的なアクションを直接形成します。 しかし、既存の安全性評価では、応答が損なわれるかどうかを区別せず、モデルが拒否するかどうかのみを評価する。 モデルは1つのターゲットを保護し、もう1つのターゲットを保護し、リスクを理解しずに拒絶したり、それを理解したり、それに従ったりという2つの失敗を隠す。 我々は、ユーザ(Self)、共代表者(The Others)、あるいは社会全体(他者)を標的とした、2,902のegocentric video-audioおよびビデオテキストクエリのベンチマークであるSTOUを提案する。 我々の評価は、拒否行動から安全性の理解を分離する:拒絶の他に、モデルがユーザの意図、害の有無、そして下流の結果を認識しているかどうかを評価する。 オープン・クローズド・ソース・オムニモーダル・マルチモーダル・LCMの10種類にまたがって、リフレクションはハザード・ターゲットと体系的に異なること、そしてモデルがしばしば害を認識しつつもそれを支援することが分かる。 これらの結果は、拒絶率だけではアシスタントを安全であると認定できないこと、安全アライメントは誰が危害を受けるかを考慮しなければならないことを示唆している。 プロジェクトページ:https://onedayoneyeah.github.io/safety-for-whom

関連論文リスト

• Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents [73.69976712292681]
  電話使用エージェントが危害を免れた場合、安全を示すか、単に行動できないか? 有害な結果は、エージェントがリスクを認識して安全なアクションを選択したり、スクリーンを理解したり、関連するアクションを全く実行できなかったりすることで回避される。 私たちはPhoneSafetyでこの問題に対処しています。これは130以上のアプリにわたる実際の電話インタラクションから引き出された700の安全クリティカルな瞬間のベンチマークです。
  論文  参考訳（メタデータ） (2026-05-08T11:58:57Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• LLMs Encode Harmfulness and Refusal Separately [38.953626527935384]
  LLMは有害な指示を拒否するように訓練されていますが、単に拒否する以上の有害性を理解しているのでしょうか? 我々は,LLMの安全性メカニズム,すなわち有害性を分析するための新しい次元を同定し,拒絶とは別の概念として内部的にコード化する。 特定のジェイルブレイク法は、モデルの内部の有害性に対する信念を逆転させることなく、拒絶信号を減らすことで機能する。
  論文  参考訳（メタデータ） (2025-07-16T03:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。