論文の概要: HarmonicEval: Multi-modal, Multi-task, Multi-criteria Automatic Evaluation Using a Vision Language Model

• arxiv url: http://arxiv.org/abs/2412.14613v1
• Date: Thu, 19 Dec 2024 08:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:57.216646
• Title: HarmonicEval: Multi-modal, Multi-task, Multi-criteria Automatic Evaluation Using a Vision Language Model
• Title（参考訳）: HarmonicEval:視覚言語モデルを用いたマルチモーダル・マルチタスク・マルチ基準自動評価
• Authors: Masanari Ohi, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue,
• Abstract要約: 視覚言語モデル(VLM)は、テキストや画像理解において印象的な能力を示している。 VLMが生成したテキストを評価するための既存のメトリクスは、全体的な品質にのみフォーカスする。 本研究では,評価基準のない評価指標であるHarmonicEvalを提案する。
• 参考スコア（独自算出の注目度）: 42.62148712511799
• License:
• Abstract: Vision-language models (VLMs) have shown impressive abilities in text and image understanding. However, existing metrics for evaluating the text generated by VLMs focus exclusively on overall quality, leading to two limitations: 1) it is challenging to identify which aspects of the text need improvement from the overall score; 2) metrics may overlook specific evaluation criteria when predicting an overall score. To address these limitations, we propose HarmonicEval, a reference-free evaluation metric that aggregates criterion-wise scores to produce the overall score in a bottom-up manner. Furthermore, we construct the Multi-task Multi-criteria Human Evaluation (MMHE) dataset, which comprises 18,000 expert human judgments across four vision-language tasks. Our experiments demonstrate that HarmonicEval achieves higher correlations with human judgments than conventional metrics while providing numerical scores for each criterion.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、テキストや画像理解において印象的な能力を示している。 しかしながら、VLMによって生成されたテキストを評価するための既存のメトリクスは、全体的な品質にのみ焦点をあてている。 1) テキストのどの側面が全体の点から改善を必要とするかを特定することは困難である。 2) 指標は,総合的なスコアを予測する際に,特定の評価基準を無視することができる。 これらの制約に対処するため,基準値の基準値を集約してボトムアップ方式でスコアを生成する基準フリー評価指標であるHarmonicEvalを提案する。 さらに,4つの視覚言語タスクにまたがる18,000人の専門家による人的判断を含むマルチタスク多基準人的評価(MMHE)データセットを構築した。 実験の結果,ハーモニックEvalは従来の基準値よりも高い相関性を示し,各基準値に数値スコアを与えることができた。

関連論文リスト

• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Assessment of Multimodal Large Language Models in Alignment with Human Values [43.023052912326314]
  提案するCh3Efは,Ch3Ef,Ch3Ef,Ch3Ef,Ch3Ef,Ch3Ef,Ch3Ef。 Ch3Efデータセットには、hhh原則に基づいた12のドメインと46のタスクを含む、1002人の注釈付きデータサンプルが含まれている。
  論文  参考訳（メタデータ） (2024-03-26T16:10:21Z)
• LLMCRIT: Teaching Large Language Models to Use Criteria [38.12026374220591]
  本稿では,大規模言語モデル (LLM) がタスク実行に対する自然言語フィードバックの提供において,タスクの包括的基準を利用できるフレームワークを提案する。 特に,各基準に対する異なる記述タスクのガイドラインとコンテクスト内デモの構成から,半自動で基準を導出するモデル・イン・ザ・ループ・フレームワークを提案する。 その結果, 基準と実演を取り入れることによるきめ細かい効果を明らかにし, 基準をより効果的に活用するためのLLMの教え方に関する貴重な知見を提供することができた。
  論文  参考訳（メタデータ） (2024-03-02T02:25:55Z)
• DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
  自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
  論文  参考訳（メタデータ） (2023-07-13T16:16:51Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Perturbation CheckLists for Evaluating NLG Evaluation Metrics [16.20764980129339]
  自然言語生成(NLG)評価は,複数の望ましい基準の評価を必要とする多面的課題である。 6つのNLGタスクのための既存のデータセット全体で、これらの複数の基準に対する人間の評価スコアは相関しないことが多い。 これは、NLGのための新しい自動評価指標を提案する現在のレシピが不十分であることを示唆している。
  論文  参考訳（メタデータ） (2021-09-13T08:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。