論文の概要: Is Your Video Language Model a Reliable Judge?

• arxiv url: http://arxiv.org/abs/2503.05977v1
• Date: Fri, 07 Mar 2025 23:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:01.937728
• Title: Is Your Video Language Model a Reliable Judge?
• Title（参考訳）: ビデオ言語モデルは信頼性のある判断か?
• Authors: Ming Liu, Wensheng Zhang,
• Abstract要約: ビデオ言語モデル(VLM)は、様々なシナリオにおいてより多くのアプリケーションを得る。 堅牢でスケーラブルなパフォーマンス評価の必要性はますます重要になっています。 既存の手法はしばしば評価器として単一のVLMに依存している。 本研究は,裁判官のプールが信頼できないモデルと信頼できないモデルの両方を含む場合,そのようなアプローチの有効性について検討する。
• 参考スコア（独自算出の注目度）: 9.434966074326056
• License:
• Abstract: As video language models (VLMs) gain more applications in various scenarios, the need for robust and scalable evaluation of their performance becomes increasingly critical. The traditional human expert-based evaluation of VLMs has limitations in consistency and scalability, which sparked interest in automatic methods such as employing VLMs to evaluate VLMs. However, the reliability of VLMs as judges remains underexplored. Existing methods often rely on a single VLM as the evaluator. However, this approach can be unreliable or biased because such a model may lack the ability to fully understand the content and may have inherent biases, ultimately compromising evaluation reliability. A remedy is to apply the principle of collective thoughts, aggregating evaluations from multiple VLMs to enhance reliability. This study investigates the efficacy of such approaches, particularly when the pool of judges includes both reliable and unreliable models. Our findings reveal that incorporating collective judgments from such a mixed pool does not necessarily improve the accuracy of the final evaluation. The inclusion of less reliable judges can introduce noise, undermining the overall reliability of the outcomes. To explore the factors that impact evaluation reliability, we fine-tune an underperforming VLM judge, Video-LLaVA, and observe that improved understanding ability alone is insufficient to make VLM judges more reliable. These findings stress the limitations of collective thought approaches and highlight the need for more advanced methods that can account for the reliability of individual models. Our study promotes the development of more reliable evaluation methods for VLMs
• Abstract（参考訳）: ビデオ言語モデル(VLM)が様々なシナリオでより多くのアプリケーションを獲得するにつれ、堅牢でスケーラブルなパフォーマンス評価の必要性が高まっている。 従来の人間の専門家によるVLMの評価は、一貫性とスケーラビリティに限界があり、VLMを使ってVLMを評価するといった自動手法への関心を喚起した。 しかし、審査員としてのVLMの信頼性は未定である。 既存の手法はしばしば評価器として単一のVLMに依存している。 しかし、このようなモデルはコンテンツを完全に理解できない可能性があり、固有のバイアスを持ち、最終的に評価の信頼性を損なう可能性があるため、このアプローチは信頼できないかバイアスを受けることができる。 複数のVLMから評価を集約して信頼性を高めることで、集団思考の原則を適用する。 本研究は,裁判官のプールが信頼できないモデルと信頼できないモデルの両方を含む場合,そのようなアプローチの有効性について検討する。 以上の結果から,このような混合プールからの集合的判断を組み込むことは,最終評価の精度を必ずしも向上させるものではないことが明らかとなった。 信頼性の低い審査員の参加はノイズを発生させ、結果の全体的な信頼性を損なう可能性がある。 評価信頼性に影響を及ぼす要因を探るため,VLM判定器であるVideo-LLaVAを微調整し,VLM判定器をより信頼性の高いものにするために,理解能力の向上だけでは不十分であることを示す。 これらの知見は、集合的思考アプローチの限界を強調し、個々のモデルの信頼性を考慮に入れたより高度な手法の必要性を強調している。 我々の研究は、より信頼性の高いVLM評価手法の開発を促進する。

関連論文リスト

• An Empirical Analysis of Uncertainty in Large Language Model Evaluations [28.297464655099034]
  我々は2つの異なる評価条件で9つのLLM評価器を用いた実験を行った。 LLM評価器はモデルファミリやサイズによって様々な不確実性を示す。 推論やポストトレーニングのときでも、特別なプロンプト戦略を採用することで、評価の不確実性をある程度軽減できることがわかった。
  論文  参考訳（メタデータ） (2025-02-15T07:45:20Z)
• Are VLMs Ready for Autonomous Driving? An Empirical Study from the Reliability, Data, and Metric Perspectives [56.528835143531694]
  視覚言語モデル(VLM)を評価するために設計されたベンチマークデータセットであるDriveBenchを紹介する。 以上の結果から, VLMは視覚的接地ではなく, 一般的な知識やテキストの手がかりから得られる, もっともらしい応答をしばしば生み出すことが明らかとなった。 本稿では,頑健な視覚的接地とマルチモーダル理解を優先する評価指標を提案する。
  論文  参考訳（メタデータ） (2025-01-07T18:59:55Z)
• Can You Trust LLM Judgments? Reliability of LLM-as-a-Judge [0.3759936323189418]
  大規模言語モデル(LLM)はますます強力でユビキタスなものになってきていますが、その性質はアウトプットの信頼性に課題をもたらします。 マクドナルドのオメガを利用したLCM判定の信頼性を厳格に評価するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-17T03:37:31Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Decompose and Compare Consistency: Measuring VLMs' Answer Reliability via Task-Decomposition Consistency Comparison [22.438863942925973]
  信頼性測定のための分解・比較一貫性(DeCC)を提案する。 VLMの内部推論プロセスを用いて生成した直接解の一貫性を比較することにより、DeCCはVLMの直接解の信頼性を測定する。
  論文  参考訳（メタデータ） (2024-07-10T17:00:29Z)
• MJ-Bench: Is Your Multimodal Reward Model Really a Good Judge for Text-to-Image Generation? [59.7772329962047]
  MJ-Benchは、マルチモーダル・ジャッジを評価するために、包括的な選好データセットを組み込んだ新しいベンチマークである。 具体的には、より小型のCLIPベースのスコアリングモデル、オープンソースのVLM、オープンソースのVLMなど、様々なマルチモーダル・ジャッジを評価する。 実験の結果、オープンソースのVLMは一般的にフィードバックが良く、GPT-4oは他の審査員を平均上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-05T20:03:16Z)
• MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
  MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。 我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T08:38:13Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。