Fugu-MT 論文翻訳(概要): MEBench: A Novel Benchmark for Understanding Mutual Exclusivity Bias in Vision-Language Models

論文の概要: MEBench: A Novel Benchmark for Understanding Mutual Exclusivity Bias in Vision-Language Models

arxiv url: http://arxiv.org/abs/2505.20122v1
Date: Mon, 26 May 2025 15:23:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-27 16:58:43.562499
Title: MEBench: A Novel Benchmark for Understanding Mutual Exclusivity Bias in Vision-Language Models
Title（参考訳）: MEBench:視覚言語モデルにおける相互排他バイアスの理解のための新しいベンチマーク
Authors: Anh Thai, Stefan Stojanov, Zixuan Huang, Bikram Boote, James M. Rehg,
Abstract要約: 本稿では、相互排他性(ME)バイアスを評価するための新しいベンチマークであるMEBenchを紹介する。従来のMEタスクとは異なり、MEBenchはさらに空間推論を取り入れ、より困難で現実的な評価設定を作成する。本稿では,最新のビジョン言語モデル(VLM)の性能を,MEに基づく推論の重要な側面を捉える新しい評価指標を用いて評価する。
参考スコア（独自算出の注目度）: 27.516184838635414
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces MEBench, a novel benchmark for evaluating mutual exclusivity (ME) bias, a cognitive phenomenon observed in children during word learning. Unlike traditional ME tasks, MEBench further incorporates spatial reasoning to create more challenging and realistic evaluation settings. We assess the performance of state-of-the-art vision-language models (VLMs) on this benchmark using novel evaluation metrics that capture key aspects of ME-based reasoning. To facilitate controlled experimentation, we also present a flexible and scalable data generation pipeline that supports the construction of diverse annotated scenes.
Abstract（参考訳）: 本稿では,言語学習における認知現象である相互排他性(ME)バイアスを評価するための新しいベンチマークであるMEBenchを紹介する。従来のMEタスクとは異なり、MEBenchはさらに空間推論を取り入れ、より困難で現実的な評価設定を作成する。本稿では,最新のビジョン言語モデル(VLM)の性能を,MEに基づく推論の重要な側面を捉える新しい評価指標を用いて評価する。制御実験を容易にするため,多様なアノテートシーンの構築を支援するフレキシブルでスケーラブルなデータ生成パイプラインを提案する。

関連論文リスト

EOC-Bench: Can MLLMs Identify, Recall, and Forecast Objects in an Egocentric World? [52.99661576320663]
マルチモーダル・大規模言語モデル(MLLM)は、自我中心の視覚応用において画期的な進歩を遂げた。 EOC-Benchは、動的自我中心のシナリオにおいて、オブジェクト中心の具体的認識を体系的に評価するために設計された革新的なベンチマークである。 EOC-Benchに基づく各種プロプライエタリ,オープンソース,オブジェクトレベルのMLLMの総合評価を行う。
論文参考訳（メタデータ） (2025-06-05T17:44:12Z)
Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文参考訳（メタデータ） (2025-04-10T04:09:47Z)
VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity [34.29409506366145]
VERIFYは最先端MLLMの視覚的推論能力を分離し、厳格に評価するために設計されたベンチマークである。それぞれの問題には人手による推論パスが伴い、モデル決定プロセスの詳細な評価を初めて提供する。本稿では,従来のモデル推論パターンにおける重要な不均衡を浮き彫りにして,単なる精度を超える視覚的推論の忠実さを評価する新しい指標を提案する。
論文参考訳（メタデータ） (2025-03-14T16:26:11Z)
Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning [56.31096024472269]
我々はDeCapBenchと、詳細なキャプションタスク用に特別に設計された新しいメトリックであるDCScoreを紹介する。 DCScoreは、反応を最小の自己充足単位に分解することで、幻覚ときめ細かい包括性を評価する。 DeCapBenchは、視覚言語モデルの既存のベンチマークを上回り、記述タスクにおけるVLMアリーナの結果と高い相関を示す。
論文参考訳（メタデータ） (2025-03-10T22:53:56Z)
Towards More Effective Table-to-Text Generation: Assessing In-Context Learning and Self-Evaluation with Open-Source Models [0.0]
本研究では,ベンチマークデータセット間の言語モデル(LM)における様々なコンテキスト内学習戦略の有効性について検討する。我々は、チェーンオブ思考推論を用いた大規模言語モデル(LLM)の自己評価アプローチを採用し、BERTScoreのような人力対応メトリクスとの相関性を評価する。本研究はテーブル・ツー・テキスト・ジェネレーションの改善における実例の顕著な影響を浮き彫りにし, LLM の自己評価には可能性があるが, 人間の判断と現在の整合性は向上する可能性が示唆された。
論文参考訳（メタデータ） (2024-10-15T09:19:42Z)
Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文参考訳（メタデータ） (2024-07-22T17:52:12Z)
VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文参考訳（メタデータ） (2024-04-22T04:49:22Z)
In-Memory Learning: A Declarative Learning Framework for Large Language Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文参考訳（メタデータ） (2024-03-05T08:25:11Z)
FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
論文参考訳（メタデータ） (2024-03-04T17:57:18Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
Open-ended VQA benchmarking of Vision-Language models by exploiting Classification datasets and their semantic hierarchy [27.454549324141087]
本稿では、よく知られた視覚分類データセットに基づく新しいVQAベンチマークを提案する。また,ラベル空間のセマンティックな階層構造を用いて,基底構造カテゴリに関するフォローアップ質問を自動的に生成することを提案する。私たちの貢献は、より正確で有意義な評価の基礎を築くことを目的としています。
論文参考訳（メタデータ） (2024-02-11T18:26:18Z)
MetricBERT: Text Representation Learning via Self-Supervised Triplet Training [26.66640112616559]
MetricBERTは、よく定義された類似度メトリックにテキストを埋め込むことを学ぶ。 MetricBERTは最先端の代替品よりも優れており、時にはかなりの差がある。
論文参考訳（メタデータ） (2022-08-13T09:52:58Z)
Towards Explainable Evaluation Metrics for Natural Language Generation [36.594817754285984]
重要な特性を特定し,機械翻訳評価指標の重要な目標を提案する。我々は,従来のNLP手法が高品質なブラックボックス評価指標の限界を自動的に識別するのに不適であることを示す新しい実験を行った。
論文参考訳（メタデータ） (2022-03-21T17:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。