論文の概要: SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation

• arxiv url: http://arxiv.org/abs/2608.16081v2
• Date: Tue, 25 Aug 2026 19:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:14.601752
• Title: SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation
• Title（参考訳）: Safe Gesture:シナリオ記述型安全解釈による視覚言語モデルにおけるきめ細かい手指のジェスチャー理解の評価
• Abstract要約: モデルが手の動きからシナリオに適した安全行動を推測できるかどうかを評価するベンチマークであるSafeGestureを紹介する。 5つのモデルのうち4つは、まれに、または決して不確実性ラベルを使用しず、失敗の方向はモデルによって大きく異なる。 その結果,ジェスチャー認識よりもシナリオ条件付き安全推論が主なボトルネックであることがわかった。
• 参考スコア（独自算出の注目度）: 0.4779196219827507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-weight and frontier vision-language models (VLMs) perform well on general image understanding, but their ability to interpret fine-grained hand gestures in safety-critical operational contexts remains largely unexamined. We introduce SafeGesture, a benchmark that evaluates whether a model can infer scenario-appropriate safety actions from hand gestures. It pairs six HaGRID gestures with eight operational scenarios for 4,800 items and evaluates Qwen2.5-VL-7B, LLaVA-NeXT-7B, InternVL2-8B, Phi-3.5-Vision, and GPT-4o. Results reveal a perception-reasoning decoupling: GPT-4o achieves 98.4% gesture accuracy but 53.3% safety accuracy, while Qwen2.5-VL reaches 84.9% and 39.5%, yielding gaps of 45.0 and 45.4 percentage points. Four of five models rarely or never use the uncertainty label, and failure directions differ substantially across models. Accuracy also obscures label bias: a scenario-majority policy with no visual input reaches 58.3%, above every evaluated model, while only GPT-4o exceeds this prior under macro-F1. Visual input improves safety accuracy by 11.2 to 30.2 percentage points, but providing the ground-truth gesture as text improves performance by only 0.4 to 3.2 points, and no model exceeds 56.2%. These results indicate that the main bottleneck is scenario-conditioned safety reasoning rather than gesture recognition.
• Abstract（参考訳）: オープンウェイト・フロンティア視覚言語モデル(VLM)は、一般的な画像理解において良好に機能するが、安全クリティカルな運用状況下で細粒度の手の動きを解釈する能力は、ほとんど検討されていない。 モデルが手の動きからシナリオに適した安全行動を推測できるかどうかを評価するベンチマークであるSafeGestureを紹介する。 6つのHaGRIDジェスチャーと4800項目の運用シナリオを組み合わせ、Qwen2.5-VL-7B、LLaVA-NeXT-7B、InternVL2-8B、Phi-3.5-Vision、GPT-4oを評価する。 GPT-4oのジェスチャー精度は98.4%、安全性は53.3%、Qwen2.5-VLは84.9%、39.5%で45.0と45.4の差がある。 5つのモデルのうち4つは、まれに、または決して不確実性ラベルを使用しず、失敗の方向はモデルによって大きく異なる。 視覚的な入力を持たないシナリオ・マジョリティポリシーは、すべての評価モデルよりも58.3%高く、GPT-4oだけがマクロF1でこれを上回る。 視覚入力は安全性を11.2から30.2ポイント改善するが、テキストが0.4から3.2ポイントしか改善せず、56.2%を超えるモデルはない。 これらの結果は,ジェスチャー認識よりもシナリオ条件付き安全推論が主なボトルネックであることを示している。

関連論文リスト

• EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models [3.659020283346239]
  VLM安全性のためのエビデンス基盤フレームワークであるEviSafeを紹介する。 自然なユーザ向け行動、テキストおよび視覚的証拠の明確な根拠、および反事実的変化に対する行動感受性を共同で評価する。 EviSafeBenchは、フレームワークを1,181金の画像テキストシナリオで制御されたベンチマークとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-24T14:32:25Z)
• Benchmarking the Robustness of Autonomous Driving to Environmental Illusions: A Lane Perception Perspective [76.02772556944073]
  環境錯覚は自然に存在するが、現実の運転環境では見過ごされている現象である。 視覚的知覚を妨害し、シーンの誤解を招き、自動運転システムに深刻な安全リスクをもたらす。 最初のベンチマークであるLanEvil++を導入し、環境錯覚下での車線知覚の堅牢性を評価する。
  論文  参考訳（メタデータ） (2026-07-07T03:15:00Z)
• When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models [5.03712104249503]
  安全ベンチマークスコアは、デプロイの準備が不完全な証拠を提供する。 整列言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。 安全ベンチマーク全体で12のモデルと2つのコモンセンス制御を、名目上安全なアクションが害をもたらすペア付き変種を用いてテストする。
  論文  参考訳（メタデータ） (2026-05-27T02:09:30Z)
• Do Language Models Know When They'll Refuse? Probing Introspective Awareness of Safety Boundaries [0.0]
  大規模な言語モデルは有害な要求を拒否するように訓練されていますが、応答する前にいつ拒否するかを正確に予測できますか? 本研究では,モデルがまず拒絶行動を予測し,新しい文脈で応答する体系的な研究を通して,この問題を考察する。 信号検出理論(SDT)を用いて、全てのモデルにおいて高い内観感度(d' = 2.4-3.5)を示すが、感度は安全性境界において著しく低下する。
  論文  参考訳（メタデータ） (2026-03-31T20:49:34Z)
• VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering [14.756677328512907]
  VisualLeakBenchは、OCRインジェクションとContextual PII Leakageに対してLVLMを監査するための評価スイートである。 8種類のPII型を持つ合成逆画像1,000枚を用いて,実世界の実画像50枚に検証を行った。 我々は、再現可能な堅牢性と、デプロイメント関連視覚言語システムの安全性評価のためのデータセットとコードをリリースする。
  論文  参考訳（メタデータ） (2026-03-11T05:47:24Z)
• OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
  現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。 我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。 本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-03-10T14:16:43Z)
• A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 [101.4233736714284]
  大規模言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)は、言語とビジョンをまたいだ推論、認識、生成において大きな進歩をもたらした。 GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5-assesing each across language, vision- language and image generation。
  論文  参考訳（メタデータ） (2026-01-15T15:52:52Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。