論文の概要: Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

• arxiv url: http://arxiv.org/abs/2509.23783v1
• Date: Sun, 28 Sep 2025 10:00:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.446916
• Title: Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception
• Title（参考訳）: Falcon: 総合的な安全性認識のためのクロスモーダルな評価データセット
• Authors: Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu,
• Abstract要約: 本研究は,視覚的質問応答におけるコンテンツモデレーションにおける視覚情報の重要性を強調した。 私たちはFalconを紹介します。これは大規模な視覚言語安全データセットで、13の有害カテゴリにわたる57,515のVQAペアを含みます。 Falconデータセットを用いてQwen2.5-VL-7Bから微調整した特殊評価器FalconEyeを提案する。
• 参考スコア（独自算出の注目度）: 19.056814278422383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods for evaluating the harmfulness of content generated by large language models (LLMs) have been well studied. However, approaches tailored to multimodal large language models (MLLMs) remain underdeveloped and lack depth. This work highlights the crucial role of visual information in moderating content in visual question answering (VQA), a dimension often overlooked in current research. To bridge this gap, we introduce Falcon, a large-scale vision-language safety dataset containing 57,515 VQA pairs across 13 harm categories. The dataset provides explicit annotations for harmful attributes across images, instructions, and responses, thereby facilitating a comprehensive evaluation of the content generated by MLLMs. In addition, it includes the relevant harm categories along with explanations supporting the corresponding judgments. We further propose FalconEye, a specialized evaluator fine-tuned from Qwen2.5-VL-7B using the Falcon dataset. Experimental results demonstrate that FalconEye reliably identifies harmful content in complex and safety-critical multimodal dialogue scenarios. It outperforms all other baselines in overall accuracy across our proposed Falcon-test dataset and two widely-used benchmarks-VLGuard and Beavertail-V, underscoring its potential as a practical safety auditing tool for MLLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)が生成するコンテンツの有害性を評価する既存の手法について検討した。 しかし、マルチモーダル大言語モデル(MLLM)に適合したアプローチは未開発であり、深さが不足している。 この研究は、視覚的質問応答(VQA)におけるコンテンツモデレーションにおける視覚情報の重要性を強調している。 このギャップを埋めるために、13の有害カテゴリにわたる57,515のVQAペアを含む大規模な視覚言語安全データセットであるFalconを紹介します。 このデータセットは、画像、命令、レスポンスにまたがる有害な属性に対する明示的なアノテーションを提供し、MLLMによって生成されたコンテンツの包括的な評価を容易にする。 さらに、関連する危害カテゴリーと、対応する判断を支持する説明を含む。 さらに、Falconデータセットを用いてQwen2.5-VL-7Bから微調整された特殊評価器であるFalconEyeを提案する。 実験の結果,FalconEyeは複雑かつ安全に重要なマルチモーダル対話シナリオにおいて,有害な内容を確実に特定できることがわかった。 提案したFalcon-testデータセットと、広く使用されている2つのベンチマークであるVLGuardとBeavertail-Vで、すべてのベースラインを総合的に上回り、MLLMの実用的な安全監査ツールとしての可能性を強調している。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• T2Vs Meet VLMs: A Scalable Multimodal Dataset for Visual Harmfulness Recognition [24.78672820633581]
  既存の有害なデータセットは、限られた範囲の有害なオブジェクトの存在によってキュレートされる。 これにより、そのようなデータセットに基づいたメソッドの一般化が妨げられ、誤判断につながる可能性がある。 我々は,インターネットからクロールして4つの生成モデルによって生成された1万枚の画像と1,000本の動画からなる包括的有害データセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:20:00Z)
• FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension [10.482908189805872]
  Referring Expression (REC) は言語理解能力、画像理解能力、言語と画像の接地能力を客観的に評価する重要なクロスモーダルタスクである。 我々は2つの重要な特徴を特徴とする新しいRECデータセットを構築した。 これには、既存のデータに基づいて微細な編集と生成によって作成された否定的なテキストと画像が含まれる。
  論文  参考訳（メタデータ） (2024-09-23T06:56:51Z)
• SPA-VL: A Comprehensive Safety Preference Alignment Dataset for Vision Language Model [77.86593720792986]
  本稿では,SPA-VL と呼ばれる視覚言語モデルのための安全優先アライメントデータセットを提案する。 SPA-VLは6つの有害ドメイン、13のカテゴリ、53のサブカテゴリをカバーし、クエクション、画像、選択された応答、拒否された応答)の4倍体の100,788のサンプルを含んでいる。 実験により、SPA-VLデータセット上のアライメント技術でトレーニングされたモデルは、コア機能を維持しながら、無害性と有用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-17T18:57:37Z)
• MLLMGuard: A Multi-dimensional Safety Evaluation Suite for Multimodal Large Language Models [39.97454990633856]
  本稿では,MLLMの多次元安全性評価スイートであるMLLMGuardを紹介する。 バイリンガル画像テキスト評価データセット、推論ユーティリティ、軽量評価器が含まれている。 13種類の先進モデルに対する評価結果は,MLLMが安全かつ責任を負うことができるまでには,まだかなりの道のりを歩んでいることを示唆している。
  論文  参考訳（メタデータ） (2024-06-11T13:41:33Z)
• B-AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Black-box Adversarial Visual-Instructions [73.97665608366447]
  LVLM(Large Vision-Language Models)は、ユーザからの視覚的指示に応答する上で、大きな進歩を見せている。 画像とテキストを含むこれらの命令は、意図的および意図しない攻撃の両方に影響を受けやすい。 B-AVIBenchは,様々なブラックボックス・アドミラル・ビジュアル・インストラクションに直面する場合のLVLMのロバスト性を解析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。