Fugu-MT 論文翻訳(概要): FPCO-Dialog: A Multi-Turn False-Premise Benchmark for Correction and Cooperation in Vision-Language Models

論文の概要: FPCO-Dialog: A Multi-Turn False-Premise Benchmark for Correction and Cooperation in Vision-Language Models

arxiv url: http://arxiv.org/abs/2609.03331v1
Date: Thu, 03 Sep 2026 03:35:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-04 18:28:38.903985
Title: FPCO-Dialog: A Multi-Turn False-Premise Benchmark for Correction and Cooperation in Vision-Language Models
Title（参考訳）: FPCO-Dialog:ビジョンランゲージモデルにおける補正と協調のためのマルチターンFalse-Premiseベンチマーク
Abstract要約: FPCO-Dialogは,視覚言語モデル(VLM)における補正と協調行動を評価するためのベンチマークである。 FPCO-Dialogには1,080のイメージと10,800の質問ターンがあり、視覚的複雑さ、オブジェクトカテゴリ、偽の前提クラスによって階層化されている。我々は,モデルに依存しないプロトコルを用いた20個の商用およびオープンソースVLMと,2つの独立検出器によって測定された偽前提回転に対する補正レート測定値であるCorrTP@Kを評価した。
参考スコア（独自算出の注目度）: 16.90134418976586
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-language models (VLMs) are increasingly deployed in multi-turn settings where users may describe visual content with incorrect assumptions. Yet existing evaluations rarely isolate how models respond when the same visually grounded false premise persists across dialogue turns. We introduce FPCO-Dialog, a benchmark for evaluating correction and cooperation behavior in VLMs under repeated false premises. FPCO-Dialog contains 1,080 images and 10,800 question turns, stratified by visual complexity, object category, and false-premise class, and uses a 10-turn protocol in which a correct dialogue prefix is followed by repeated false-premise referring expressions. We evaluate 20 commercial and open-source VLMs with a model-agnostic protocol and CorrTP@K, a correction-rate metric over false-premise turns, scored by two independent detectors. FPCO-Dialog reveals substantial and persistent cross-model differences in aggregate correction tendency, model-specific turn-wise dynamics, and systematic variation across false-premise types under the benchmark's substitution distribution. The dataset, evaluation protocol, model outputs, detector labels, and code are available.
Abstract（参考訳）: 視覚言語モデル(VLM)は、ユーザが誤った仮定で視覚コンテンツを記述できるマルチターン設定に、ますます多くデプロイされている。しかし、既存の評価では、同じ視覚的に根拠付けられた偽の前提が対話のターンを越えて持続するときに、モデルがどのように反応するかを区別することは滅多にない。疑似前提条件下でのVLMの補正と協調動作を評価するためのベンチマークであるFPCO-Dialogを紹介する。 FPCO-Dialogには1080の画像と10,800の質問ターンが含まれており、視覚的複雑さ、オブジェクトカテゴリ、偽前提クラスによって階層化されており、正しい対話プレフィックスが続く10ターンプロトコルを使用している。我々は,モデルに依存しないプロトコルを用いた20の商用およびオープンソースVLMと,2つの独立検出器によって測定された偽前提回転に対する補正レート測定値であるCorrTP@Kを評価した。 FPCO-Dialogは、アグリゲーション補正傾向、モデル固有のターンワイドダイナミクス、およびベンチマークの置換分布の下での偽前提型間の体系的変動において、相当かつ永続的な相互モデル差を明らかにしている。データセット、評価プロトコル、モデル出力、検出ラベル、コードなどが利用可能である。

関連論文リスト

MMPCBench: Benchmarking Multimodal Large Language Models on Proactive Critique of Flawed Inputs [16.970480774847857]
我々は、Proactive Critiqueを、追加のプロンプトなしで欠陥のあるユーザ入力を特定し、分析し、修正するモデルの自律的な能力として定義する。 MLLMの積極的批判能力を評価するための総合的なフレームワークMMPCBenchを提案する。 12のサブカテゴリにまたがる4つの主要なエラータイプのきめ細かい分類が特徴で、クロスモーダルな矛盾から視覚的前提の欠如まで様々である。
論文参考訳（メタデータ） (2026-08-29T14:19:10Z)
Speculative Refinement: A Hybrid Autoregressive Diffusion Decoding Strategy and Its Behavior Across Benchmarks [1.9800951131982487]
我々はSpecRef(Speculative Refinement)を用いて、ARドラフトからマスク付き拡散言語モデルをウォームスタートする。 We evaluate SpecRef across six benchmarks (HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag) with three distinct evaluation protocol。これらの観察は、多段階または非自己回帰生成パイプラインに適用され、より診断評価の実践に向けて向けられる。
論文参考訳（メタデータ） (2026-06-25T18:52:24Z)
DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文参考訳（メタデータ） (2026-06-24T22:40:46Z)
VAL-Bench: Measuring Value Alignment in Language Models [10.745372809345412]
大きな言語モデル(LLM)は、出力が人間の決定を形作るタスクにますます使われています。既存のベンチマークは、主に拒否や事前定義された安全違反を追跡するが、モデルが一貫性のある価値システムを保持するかどうかを明らかにしない。 VAL-Bench(Value ALignment Benchmark)を導入し、モデルが公開討論の両面において安定的な価値スタンスを維持しているかどうかを評価する。
論文参考訳（メタデータ） (2025-10-06T23:55:48Z)
EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。 EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文参考訳（メタデータ） (2025-09-16T17:45:39Z)
CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文参考訳（メタデータ） (2025-08-05T17:55:24Z)
SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
論文参考訳（メタデータ） (2025-02-24T07:15:05Z)
Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
論文参考訳（メタデータ） (2024-10-17T01:19:18Z)
A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings [50.524054820564395]
そこで本稿では,変数分割音声セグメントを固定次元表現にマッピングするための教師なしモデルを提案する。結果として得られる音響単語の埋め込みは、低リソース言語とゼロリソース言語のための検索、発見、インデックスシステムの基礎を形成することができる。
論文参考訳（メタデータ） (2020-12-03T19:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。