論文の概要: Visual Abstention in Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2610.07887v1
• Date: Tue, 06 Oct 2026 07:33:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.870183
• Title: Visual Abstention in Unified Multimodal Models
• Title（参考訳）: 統一マルチモーダルモデルにおける視覚的無視
• Abstract要約: 統一マルチモーダルモデルは、理解と生成を統合するが、それらの生成行動は、彼らがタスクについて理解していることによって制御されることは滅多にない。 要求された視覚変換がタスクのルールの下で不可能である場合、モデルは有効な解決策が存在しないことを認識し、これを記述し、生成を減少させなければなりません。 本稿では、7つのタスクカテゴリにまたがる1050の不可能なリクエストペアのベンチマークであるDraw-or-Decline(DoD)を紹介し、その成功と無効なリクエストの拒否を共同で測定する。
• 参考スコア（独自算出の注目度）: 40.51486264521879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models (UMMs) integrate understanding and generation, yet their generative behavior is rarely governed by what they understand about the task. We formalize visual abstention: when a requested visual transformation is impossible under the task's rules, the model should recognize that no valid solution exists, state this, and decline to generate. We introduce Draw-or-Decline (DoD), a benchmark of 1,050 feasible-infeasible request pairs across 7 task categories that jointly measures editing success and the refusal of infeasible requests. Evaluating 8 UMMs, we find that editing ability and abstention are distinct capabilities: even the strongest editor, at 68.4% editing accuracy, refuses only 0.4% of infeasible requests under ordinary instructions. Their reasoning shows why: the models rarely notice the conflict, and instead plan the edit as if the request were possible, often describing objects that are not in the image, or quietly change the request into one they can complete. Explicitly prompting these UMMs to report infeasibility increases textual refusals but reduces editing accuracy. We propose VisTA (Visual Transformation and Abstention), a training method that pairs feasible and infeasible examples so that a model judges feasibility before deciding whether to generate. We train VisTA-BAGEL to perform feasible edits and decline infeasible requests. Without any reminder, it refuses 93.0% of infeasible requests, up from 0.4% for the strongest editor, while falsely refusing only 0.8% of feasible ones. Unlike a reminder, this does not cost editing accuracy: VisTA-BAGEL completes 74.3% of feasible edits, more than any of the 8 evaluated UMMs.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、理解と生成を統合するが、それらの生成的振る舞いは、彼らがタスクについて理解していることによって制御されることは滅多にない。 要求された視覚変換がタスクのルールの下で不可能である場合、モデルは有効な解決策が存在しないことを認識し、これを記述し、生成を減少させなければなりません。 本稿では、7つのタスクカテゴリにまたがる1050の不可能なリクエストペアのベンチマークであるDraw-or-Decline(DoD)を紹介し、その成功と無効なリクエストの拒否を共同で測定する。 最強の編集者でさえ68.4%の編集精度で、通常の指示では不可能な要求のわずか0.4%しか拒否していない。 モデルはコンフリクトにほとんど気づかず、代わりに、要求が可能であるかのように編集を計画し、しばしば画像にないオブジェクトを記述し、または、リクエストを完了できるオブジェクトに静かに変更する。 これらのUMMが不可能なことを報告するよう明示的に促すことは、テキストの拒絶を増大させるが、編集精度は低下する。 提案するVisTA(Visual Transformation and Abstention)は、モデルが生成するかどうかを決定する前に実現可能性を決定するために、実現可能かつ実現不可能な例をペアリングする訓練手法である。 VisTA-BAGELをトレーニングして、実行可能な編集を行い、実現不可能な要求を減らします。 リマインダーなしでは、最強のエディタの0.4%から、93.0%の非実用的リクエストを拒否する一方で、偽りの非実用的リクエストは0.8%しか拒否しない。 VisTA-BAGELは74.3%の編集を完了し、8つの評価されたUMMのどれよりも高い。

関連論文リスト

• When Instructions Retrieve Trajectories: Diagnosing and Mitigating Generalization Failures in VLA Models [18.16273179954973]
  視覚言語アクション(VLA)モデルは、分配タスクで90%以上の成功を達成できる。 ポリシーは言語と視覚の両方に反応するが、それらを組み合わせてタスクが必要とするアクションを選択することはない。 細調整された$_0.5$とGR00T-N1.7ポリシーの振る舞い解析により、ロールアウトが失敗した場合、ソースの動作を維持したり、別のデモタスクに切り替えたりすることが多いことが明らかになった。
  論文  参考訳（メタデータ） (2026-09-30T15:34:57Z)
• SolveEdit: Benchmarking Visual Problem Solving in Generative Models [25.893936808694306]
  本稿では,シーン変換による視覚的問題解決のためのベンチマークであるSolveEpITを紹介する。 画像とゴールが与えられた場合、モデルはリクエスト、シーン、あるいは視覚的に表現されたルールから有効な変換を推論し、無関係なコンテンツを保持しながら実行しなければなりません。 生成前の遷移をインスタンス化する2段階のビジュアルプランナであるSolveEdiT-PLANについても紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:05:26Z)
• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• I Don't Miss You, but I Do: Self-Explanation Faithfulness of Modality Missingness in Vision-Language Models [1.0705399532413615]
  モーダリティ力学の自己説明を評価するための介入プロトコルを提案する。 4つのタスクにまたがる8つのオープンウェイト視覚言語モデルを評価する。 我々は、利用可能なモダリティ証拠の十分性を誇張する体系的な傾向を見出した。
  論文  参考訳（メタデータ） (2026-09-07T15:07:01Z)
• Knowing What Not to Answer: Selective Non-Compliance in Vision-Language Models [7.287970794207117]
  視覚言語モデル(VLM)における選択的非準拠性を評価するためのベンチマークであるKoNAを紹介する。 我々の評価は、クエリが選択的な非準拠を必要とする場合、モデルが拒否、正しい、あるいは適切に棄権しない場合が多いことを示している。 我々の微調整モデルでは、完全対応可能なタスクの性能を保ちながら、非準拠の精度を大幅に向上する。
  論文  参考訳（メタデータ） (2026-09-04T04:45:26Z)
• ComplexityWorld: Benchmarking Vision-Language Models on Verifiable Visual Decision Making [30.869819258358405]
  視覚言語モデル(VLM)は、視覚知覚を急速に進歩させ、画像に依存する現実的なタスクをますますサポートしている。 39のドメインにインスパイアされた視覚世界と29のカテゴリーにわたる390のタスクのベンチマークであるCompleXITYWORLDを紹介する。
  論文  参考訳（メタデータ） (2026-08-05T10:05:41Z)
• Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
  プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。 我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T01:19:18Z)
• The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
  本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。 我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。 言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
  論文  参考訳（メタデータ） (2024-07-02T07:12:51Z)
• Look Before You Leap: A Universal Emergent Decomposition of Retrieval Tasks in Language Models [58.57279229066477]
  本研究では,言語モデル(LM)が様々な状況下での検索タスクをどのように解決するかを検討する。 ORIONは6つのドメインにまたがる構造化された検索タスクの集合である。 LMは内部的にモジュール方式で検索タスクを分解する。
  論文  参考訳（メタデータ） (2023-12-13T18:36:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。