論文の概要: M$^3$oralBench: A MultiModal Moral Benchmark for LVLMs

• arxiv url: http://arxiv.org/abs/2412.20718v1
• Date: Mon, 30 Dec 2024 05:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:09.789902
• Title: M$^3$oralBench: A MultiModal Moral Benchmark for LVLMs
• Title（参考訳）: M$^3$oralBench: LVLMのマルチモーダルモーラルベンチマーク
• Authors: Bei Yan, Jie Zhang, Zhiyuan Chen, Shiguang Shan, Xilin Chen,
• Abstract要約: LVLMのための最初のMultiModal Moral BenchmarkであるM$3$oralBenchを紹介する。 M$3$oralBench は Moral Foundations Vignettes (MFVs) の日常的なモラルシナリオを拡張し、テキストから画像への拡散モデル SD3.0 を用いて対応するシナリオイメージを作成する。 道徳基礎理論(MFT)の6つの道徳的基礎にまたがって道徳的評価を行い、道徳的判断、道徳的分類、道徳的対応の課題を含む。
• 参考スコア（独自算出の注目度）: 66.78407469042642
• License:
• Abstract: Recently, large foundation models, including large language models (LLMs) and large vision-language models (LVLMs), have become essential tools in critical fields such as law, finance, and healthcare. As these models increasingly integrate into our daily life, it is necessary to conduct moral evaluation to ensure that their outputs align with human values and remain within moral boundaries. Previous works primarily focus on LLMs, proposing moral datasets and benchmarks limited to text modality. However, given the rapid development of LVLMs, there is still a lack of multimodal moral evaluation methods. To bridge this gap, we introduce M$^3$oralBench, the first MultiModal Moral Benchmark for LVLMs. M$^3$oralBench expands the everyday moral scenarios in Moral Foundations Vignettes (MFVs) and employs the text-to-image diffusion model, SD3.0, to create corresponding scenario images. It conducts moral evaluation across six moral foundations of Moral Foundations Theory (MFT) and encompasses tasks in moral judgement, moral classification, and moral response, providing a comprehensive assessment of model performance in multimodal moral understanding and reasoning. Extensive experiments on 10 popular open-source and closed-source LVLMs demonstrate that M$^3$oralBench is a challenging benchmark, exposing notable moral limitations in current models. Our benchmark is publicly available.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) や大規模視覚言語モデル (LVLM) を含む大規模基盤モデルは,法律,金融,医療といった重要な分野において重要なツールとなっている。 これらのモデルが私たちの日常生活にますます統合されるにつれて、アウトプットが人間の価値観と一致し、道徳的境界内に留まることを保証するために、道徳的評価を行う必要がある。 以前の研究は主にLLMに焦点を当て、道徳的なデータセットとベンチマークはテキストのモダリティに限られていた。 しかし、LVLMの急速な発展を考えると、マルチモーダルなモラル評価手法はいまだに存在しない。 このギャップを埋めるために、最初のマルチモーダルモーラルベンチマークであるM$^3$oralBenchを導入する。 M$^3$oralBench は Moral Foundations Vignettes (MFVs) の日常的なモラルシナリオを拡張し、テキストから画像への拡散モデル SD3.0 を用いて対応するシナリオイメージを作成する。 道徳基礎理論(MFT)の6つの道徳的基礎にまたがって道徳的評価を行い、道徳的判断、道徳的分類、道徳的対応のタスクを包含し、マルチモーダルな道徳的理解と推論におけるモデルパフォーマンスの包括的評価を提供する。 10の人気のあるオープンソースおよびクローズドソースのLVLMに関する大規模な実験は、M$^3$oralBenchが挑戦的なベンチマークであり、現在のモデルに顕著な道徳的制限があることを証明している。 私たちのベンチマークは公開されています。

関連論文リスト

• CMoralEval: A Moral Evaluation Benchmark for Chinese Large Language Models [33.177258239580105]
  多様性と信頼性を特徴とする道徳評価データセットの構築を目指す。 我々は、伝統的な中国文化に根ざしただけでなく、現代の社会規範と整合した道徳的分類学と基本的な道徳原理のセットを開発する。
  論文  参考訳（メタデータ） (2024-08-19T09:15:35Z)
• LMMs-Eval: Reality Check on the Evaluation of Large Multimodal Models [71.8065384742686]
  LMMS-EVALは50以上のタスクと10以上のモデルを持つ統一的で標準化されたマルチモーダルベンチマークフレームワークである。 LMMS-EVAL LITEは、カバー範囲と効率の両方を重視したプルーニング評価ツールキットである。 マルチモーダルなLIVEBENCHは、ニュースやオンラインフォーラムを継続的に更新し、野生におけるモデルの一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-07-17T17:51:53Z)
• MoralBench: Moral Evaluation of LLMs [34.43699121838648]
  本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。 本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
  論文  参考訳（メタデータ） (2024-06-06T18:15:01Z)
• Exploring and steering the moral compass of Large Language Models [55.2480439325792]
  大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。 本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:49:22Z)
• Are Large Language Models Moral Hypocrites? A Study Based on Moral Foundations [0.5278650675825148]
  我々は,現在最先端の大規模言語モデル (LLM) が道徳的偽善であるかどうかを検討する。 モラル基礎理論に基づく2つの研究機器を採用。
  論文  参考訳（メタデータ） (2024-05-17T21:27:32Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)
• Denevil: Towards Deciphering and Navigating the Ethical Values of Large Language Models via Instruction Learning [36.66806788879868]
  大きな言語モデル(LLM)は前例のない突破口をたどったが、彼らの日常生活への統合は非倫理的コンテンツによって社会的リスクを引き起こす可能性がある。 この研究はモラル・ファンデーション理論を利用した倫理的価値を論じている。
  論文  参考訳（メタデータ） (2023-10-17T07:42:40Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• LVLM-eHub: A Comprehensive Evaluation Benchmark for Large Vision-Language Models [55.304181390027274]
  本稿では,LVLM評価ハブ(LVLM-eHub)の構築により,一般公開された大規模マルチモーダルモデルの包括的評価を行う。 我々のLVLM-eHubは、InstructBLIPやMiniGPT-4などの代表的LVLMから成り、定量的能力評価とオンラインアリーナプラットフォームによって徹底的に評価されている。 この研究は、いくつかの革新的な発見を明らかにしている。まず、インストラクタBLIPのような膨大なドメイン内データを持つ命令調整型LVLMは、多くの既存のタスクを過度にオーバーフィットさせ、オープンワールドのシナリオでは一般化が不十分である。
  論文  参考訳（メタデータ） (2023-06-15T16:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。