論文の概要: MiCEval: Unveiling Multimodal Chain of Thought's Quality via Image Description and Reasoning Steps

• arxiv url: http://arxiv.org/abs/2410.14668v2
• Date: Mon, 21 Oct 2024 21:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 10:08:37.267706
• Title: MiCEval: Unveiling Multimodal Chain of Thought's Quality via Image Description and Reasoning Steps
• Title（参考訳）: MiCEval:イメージ記述と推論のステップを通じて、思考品質のマルチモーダルなチェーンを公開
• Authors: Xiongtao Zhou, Jie He, Lanyu Chen, Jingyu Li, Haojing Chen, Victor Gutierrez Basulto, Jeff Z. Pan, Hanjie Chen,
• Abstract要約: 本稿では,各推論ステップと記述の質を評価することによって,推論チェーンの正しさを評価するためのフレームワークを提案する。 MiCEvalは詳細なデータセット上に構築されており、各ステップを正確性、妥当性、情報性に応じて評価するアノテーションを備えている。 実験の結果、MiCEvalを用いた段階的評価は、既存の方法に比べて人間の判断とより密接に一致していることがわかった。
• 参考スコア（独自算出の注目度）: 21.254586021321412
• License:
• Abstract: Multimodal Chain of Thought (MCoT) is a popular prompting strategy for improving the performance of multimodal large language models (MLLMs) across a range of complex reasoning tasks. Despite its popularity, there is a notable absence of automated methods for evaluating the quality of reasoning steps in MCoT. To address this gap, we propose Multimodal Chain-of-Thought Evaluation (MiCEval), a framework designed to assess the correctness of reasoning chains by evaluating the quality of both the description and each reasoning step. The evaluation of the description component focuses on the accuracy of the image descriptions, while the reasoning step evaluates the quality of each step as it is conditionally generated based on the preceding steps. MiCEval is built upon a fine-grained dataset with annotations that rate each step according to correctness, relevance, and informativeness. Extensive experiments on four state-of-the-art MLLMs show that step-wise evaluations using MiCEval align more closely with human judgments compared to existing methods based on cosine similarity or fine-tuning approaches. MiCEval datasets and code can be found in https://github.com/alenai97/MiCEval.
• Abstract（参考訳）: MCoT(Multimodal Chain of Thought)は、様々な複雑な推論タスクにおいてMLLM(Multimodal Large Language Model)の性能を向上させるための一般的なプロンプト戦略である。 その人気にもかかわらず、MCoTにおける推論ステップの品質を評価するための自動手法が欠落している。 このギャップに対処するため、我々は、説明と各推論ステップの質を評価することによって、推論チェーンの正しさを評価するためのフレームワークであるMultimodal Chain-of-Thought Evaluation (MiCEval)を提案する。 説明成分の評価は、画像記述の精度に焦点を当て、推論ステップは、前段に基づいて条件付きで生成された各ステップの品質を評価する。 MiCEvalは詳細なデータセット上に構築されており、各ステップを正確性、妥当性、情報性に応じて評価するアノテーションを備えている。 4つの最先端MLLMの広範囲な実験により、MiCEvalを用いた段階的評価は、コサイン類似性や微調整アプローチに基づく既存の手法と比較して、人間の判断とより密接に一致していることが示された。 MiCEvalのデータセットとコードはhttps://github.com/alenai97/MiCEvalにある。

関連論文リスト

• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• BEExAI: Benchmark to Evaluate Explainable AI [0.9176056742068812]
  本稿では,ポストホックXAI手法の大規模比較を可能にするベンチマークツールであるBEExAIを提案する。 説明の質と正確性を測定するための信頼性の高い方法の必要性が重要になっていると論じる。
  論文  参考訳（メタデータ） (2024-07-29T11:21:17Z)
• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models [4.953092503184905]
  この研究は、LLM(Large Language Models)生成したテキストの一貫性を評価し改善する自動化フレームワークであるDCRを提案する。 本稿では,DCEからの出力を解釈可能な数値スコアに変換する自動計量変換器(AMC)を提案する。 また,本手法は出力不整合の90%近くを著しく低減し,効果的な幻覚緩和の可能性を示唆している。
  論文  参考訳（メタデータ） (2024-01-04T08:34:16Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)
• Knowledge-Prompted Estimator: A Novel Approach to Explainable Machine Translation Assessment [20.63045120292095]
  言語間機械翻訳(MT)の品質評価は,翻訳性能を評価する上で重要な役割を担っている。 GEMBAはLarge Language Models (LLMs) に基づく最初のMT品質評価尺度であり、システムレベルのMT品質評価において最先端(SOTA)を達成するために一段階のプロンプトを用いる。 本稿では,KPE(Knowledge-Prompted Estor)という,難易度,トークンレベルの類似度,文レベルの類似度を含む3つのワンステッププロンプト技術を組み合わせたCoTプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:32Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus [10.135749005469686]
  説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。 我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。 我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
  論文  参考訳（メタデータ） (2023-02-14T18:59:02Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。