論文の概要: What Breaks in Multi-Image Schema Application? Factorial Oracle Interventions Reveal an Instance-Information Bottleneck
- arxiv url: http://arxiv.org/abs/2610.19611v1
- Date: Wed, 14 Oct 2026 05:33:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.981565
- Title: What Breaks in Multi-Image Schema Application? Factorial Oracle Interventions Reveal an Instance-Information Bottleneck
- Title（参考訳）: マルチイメージスキーマのアプリケーションに何が起こるのか? Oracleのファクショナルな介入がインスタンス情報コンテナを発見
- Abstract要約: モデルが2つのターゲット文字を16画像のシーケンスで特定しなければならない制御型スキーマアプリケーションタスクについて検討する。
Oracle-Aは、検証済みのテキストスキーマを提供し、Oracle-Bは、検証済みのターゲット-外観表現を提供します。
72項目以上の新しい項目と1,188のモデル応答を分析し、Oracle-Bは厳密な精度を54.6ポイント向上させた。
- 参考スコア（独自算出の注目度）: 1.4041126773338302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern vision-language models can accept multi-image contexts, but aggregate accuracy rarely reveals where a multi-image reasoning pipeline fails. We study a controlled schema-application task in which a model must locate two target characters in a 16-image sequence, identify their visual attributes, consult an item-specific visual codebook, and compose two ordered nonce code names. We introduce a within-item 2-by-2 factorial Oracle design: Oracle-A supplies a verified textual schema, Oracle-B supplies a verified ordered target-appearance representation, and both interventions retain the original images and final question. Across 72 new items and 1,188 analyzed model responses, Oracle-B increased strict exact accuracy by 54.6 percentage points (95% confidence interval: 46.3 to 63.0) and outperformed Oracle-A by 60.6 points (Holm-adjusted p-value no greater than .0002). An auxiliary retrieval diagnostic reached only 49.1% ordered-appearance accuracy even after removing code-name generation. Providing both Oracle sources yielded 100% accuracy across all models. These results localize the dominant recoverable deficit to upstream ordered instance recovery rather than primarily to downstream schema use and composition.
- Abstract（参考訳）: 現代の視覚言語モデルは、マルチイメージのコンテキストを受け入れることができるが、集約精度は、マルチイメージ推論パイプラインの故障箇所をほとんど明らかにしない。
制御されたスキーマアプリケーションタスクでは、モデルが16画像の2つのターゲット文字を識別し、それらの視覚的属性を特定し、アイテム固有のビジュアルコードブックを参照し、2つの順序付きナンスコード名を構成する必要がある。
Oracle-Aは検証済みのテキストスキーマを提供し、Oracle-Bは検証済みの目標出現表現を提供し、両方の介入は元のイメージと最終質問を保持します。
72の項目と1,188のモデル応答で、Oracle-Bは厳密な精度を54.6ポイント(95%の信頼区間:46.3から63.0)、Oracle-Aを60.6ポイント(ホルム調整されたp値が.0002以上)で上回った。
コードネーム生成を除去した後でも、補助的な検索診断は49.1%の順序出現精度にしか達しなかった。
両方のOracleソースを提供することで、すべてのモデルで100%の精度が得られました。
これらの結果は、主に下流のスキーマの使用と構成よりも、上流の順序付けられたインスタンスのリカバリに、主要なリカバリ可能な障害をローカライズする。
関連論文リスト
- TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation [74.69068352546073]
TRACE-Benchは、多様な芸術的スタイルと現実世界の主題にまたがるマルチ参照画像の評価ツールである。
631の定式テンプレートと、様々な芸術様式と現実世界の主題にまたがる約4,000の参照画像で構成されている。
その公式構造は、演算子整合性評価プロトコルを駆動し、可視性スコアリングと診断木解析を行う。
論文 参考訳（メタデータ） (2026-08-17T16:15:50Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Mind the Gap: Diagnosing Constraint Discovery Failures in Text-in-Image Editing [0.0]
マルチモーダル推論の主な課題は、特定のタスクの下でどの視覚的依存関係が関係するかを決定することである。
我々は、テキスト・イン・イメージ編集において、編集による制約発見を通じてこれを研究する。
論文 参考訳（メタデータ） (2026-06-14T19:14:25Z) - MASTOR: A Multi-Agent Approach to Semantic Test Oracle Generation for RESTful APIs [8.248920932579876]
既存の自動APIテストアプローチは、単純なチェックに依存している。
実装ソースコードに基づくAPIのためのセマンティックテストオラクルを生成するためのマルチエージェントアプローチであるMASTORを提案する。
論文 参考訳（メタデータ） (2026-06-09T06:35:21Z) - Do Composed Image Retrieval Benchmarks Require Multimodal Composition? [86.99911649534795]
合成画像検索ベンチマークでは,マルチモーダルな構成が必要であると推定される。
4つの広く使用されているCIRベンチマークと11のジェネリストマルチモーダルエンベディングモデルで、クエリの大部分が単一モードで解決できる。
CIRの性能は、真のマルチモーダル合成ではなく、単一モーダル信号から生じる。
論文 参考訳（メタデータ） (2026-05-14T12:56:36Z) - ABRA: Agent Benchmark for Radiology Applications [46.39696206872633]
エージェントがビューアとOrthanc DICOMサーバを操作する無線エージェントベンチマークであるABRAを紹介する。
ABRAには3つの困難層と8つのタイプにわたる655の655のタスクが含まれている。
各エピソードは、タスクタイプ固有の自動スコアラーによって、プランニング、実行、アウトカム(Blueth et al., 2025)に沿ってスコアされる。
論文 参考訳（メタデータ） (2026-05-11T20:34:20Z) - Diff-Oracle: Deciphering Oracle Bone Scripts with Controllable Diffusion Model [48.956844881630886]
オラクルの骨文書の解読は中国考古学や文献学において重要な役割を担っている。
Diff-Oracleは、制御可能なオラクル文字を生成する拡散モデルに基づく新しいアプローチである。
Diff-Oracleは、下流のオラクル文字認識に大きく貢献し、既存のSOTAをはるかに上回っている。
論文 参考訳（メタデータ） (2023-12-21T07:48:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。