論文の概要: Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning
- arxiv url: http://arxiv.org/abs/2608.26866v2
- Date: Fri, 28 Aug 2026 08:47:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 15:11:36.09535
- Title: Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning
- Title（参考訳）: 命令事項:ビジョンランゲージ推論のための中国のマルチパネルミームベンチマーク
- Abstract要約: CMPMは中国語のマルチパネル・ミームのベンチマークで1,214個の注釈付きサンプルを示す。
統一されたプロトコルの下で5つの代表的な視覚言語モデルをベンチマークする。
結果は、正準表示精度は、それ自体が順序理解の証拠ではないことを示している。
- 参考スコア（独自算出の注目度）: 0.5872014229110213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many multimodal tasks depend on how visual elements are ordered and composed, not only on recognizing them in isolation. Internet memes are a compact case of this problem: their punchline often depends on a constrained reading order and cross-panel visual--textual cues. While large vision-language models (LVLMs) show strong performance on single-image understanding, it remains unclear whether they can perform sequence-aware reasoning over structured meme layouts, especially in Chinese social media. We introduce CMPM, a Chinese Multi-Panel Meme benchmark with 1,214 annotated samples covering five structural types, ordering dependency, panel-order constraints, and optional comment context. We formulate a two-layer evaluation: Task1 probes structure typing and order-sensitive panel sequencing (with a context ablation setting), and Task2 evaluates Chinese meme explanation generation with human ratings on five 1-3 Likert dimensions (visual, panel, humor, context, and faithfulness). We benchmark five representative LVLMs under a unified protocol. Results indicate that canonical-display accuracy is not by itself evidence of order understanding: the primary shuffled condition produces a sharp accuracy drop, revealing a persistent gap in order-sensitive multimodal reasoning. Task2 preferences place Gemini 3.1 Pro and GPT-5.5 above the open models, while comment context yields only a small and mixed Core4 gain. Code and data will be released upon acceptance.
- Abstract（参考訳）: 多くのマルチモーダルタスクは、視覚的要素を独立して認識するだけでなく、どのように順序付けされ、構成されるかに依存する。
インターネットミームは、この問題のコンパクトなケースである。そのパンチラインは、しばしば制限された読み込み順序とクロスパネルのビジュアル-テキスト-キューに依存する。
大規模視覚言語モデル (LVLM) は, 単一画像理解において高い性能を示すが, 特に中国のソーシャルメディアにおいて, 構造化ミームレイアウトに対してシーケンス認識推論を行うことができるかどうかは不明である。
CMPMは中国のマルチパネルミームベンチマークで,5つの構造型,順順依存,パネル順序制約,オプションコメントコンテキストを含む1,214の注釈付きサンプルが提供されている。
第1タスクは、構造型付けと順序感性パネルシークエンシング(文脈アブレーション設定付き)を探索し、第2タスクは、人間の評価を5つの1-3次元(視覚、パネル、ユーモア、文脈、忠実度)で評価する。
統一プロトコルで5つの代表LVLMをベンチマークする。
一次シャッフル条件は鋭い精度低下を生じさせ、秩序に敏感なマルチモーダル推論において永続的なギャップを生じさせる。
Task2 は Gemini 3.1 Pro と GPT-5.5 をオープンモデルより上に置くが、コメントコンテキストは Core4 の小型で混合的なゲインしか得られない。
コードとデータは受理時にリリースされる。
関連論文リスト
- IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following [20.104094920745315]
従来のメトリクスは意味的忠実さを捉えるが、制約の順守についての信号はほとんど提供しない。
7つの言語に従う多言語翻訳のベンチマークであるベンチを導入する。
論文 参考訳（メタデータ） (2026-05-27T09:35:27Z) - VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents [25.141059096863255]
VISTAは、LLMベースのエージェントのエンドツーエンドのWebアプリケーション生成機能を評価するためのベンチマークである。
視覚的/構造的忠実度とスタック制約の2つの軸に沿って変化する5つのプロンプト情報条件を定義する。
ベンチマークの各ページは、インタラクティブなUIコンポーネントと約3つの視覚的アンカーポイントで手動で注釈付けされる。
論文 参考訳（メタデータ） (2026-05-22T20:29:12Z) - From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding [15.376371030121094]
ReceiptBenchは10万の多様なレシートからなる、大規模で人間による注釈付きベンチマークである。
ReceiptBenchは10万の多様なレシートからなる大規模で人手による注釈付きベンチマークである。
論文 参考訳（メタデータ） (2026-05-21T12:37:03Z) - TextGround4M: A Prompt-Aligned Dataset for Layout-Aware Text Rendering [64.22226877213521]
テキスト・ツー・イメージ生成の進歩にもかかわらず、モデルはまだ、プロンプト仕様のテキストを正しい空間レイアウトでレンダリングするのに苦労している。
TextGround4Mは400万以上のプロンプトイメージ対のデータセットで、プロンプトと対応するバウンディングボックスにグラウンドされたスパンレベルテキストをアノテートする。
本稿では、モデルアーキテクチャや推論動作を変更することなく、トレーニング中にレイアウトを意識したスパントークンを付加する自動回帰型T2Iモデルの軽量なトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2026-04-27T13:28:57Z) - VisChainBench: A Benchmark for Multi-Turn, Multi-Image Visual Reasoning Beyond Language Priors [32.4515119002324]
VisChainBenchは、LVLM(Large Vision-Language Models)を厳格に評価するために設計されたベンチマークである。
3つの異なる領域(例えば、日々のシナリオ、エンジニアリングのトラブルシューティング)にわたる20,000以上のイメージにまたがる1,457のタスクを含んでいる。
ユニークなことに、ベンチマークはマルチエージェント生成パイプラインを使用して構築されており、高い視覚的多様性と制御された言語バイアスを保証する。
論文 参考訳（メタデータ） (2025-12-07T09:48:10Z) - Cross-Lingual Prompt Steerability: Towards Accurate and Robust LLM Behavior across Languages [61.18573330164572]
システムプロンプトは、推論時に大きな言語モデル(LLM)を条件付けするための軽量で強力なメカニズムを提供する。
本稿では, 異なるシステムが, 正確な, 頑健な言語間行動に対して, ステアモデルをどのように促すかを包括的に検討する。
論文 参考訳（メタデータ） (2025-12-02T14:54:54Z) - MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns [80.05126590825121]
MonkeyOCR v1.5は、レイアウト理解とコンテンツ認識の両方を強化する統合ビジョン言語フレームワークである。
複雑なテーブル構造に対処するために,視覚的整合性に基づく強化学習手法を提案する。
2つの特別なモジュール、Image-Decoupled Table ParsingとType-Guided Table Mergingを導入し、テーブルの信頼性の高いパースを可能にする。
論文 参考訳（メタデータ） (2025-11-13T15:12:17Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - Seeing is Not Understanding: A Benchmark on Perception-Cognition Disparities in Large Language Models [9.870930749379932]
EmoBench-Redditは、マルチモーダル感情理解のための新しい階層型ベンチマークである。
データセットは、ソーシャルメディアプラットフォームRedditから350の精巧にキュレートされたサンプルで構成されている。
各データポイントには6つの複数選択の質問と、困難を増すための1つのオープンな質問がある。
論文 参考訳（メタデータ） (2025-09-14T05:40:24Z) - PM4Bench: A Parallel Multilingual Multi-Modal Multi-task Benchmark for Large Vision Language Model [75.98106427999411]
PM4Benchは,大規模視覚言語モデルのための並列多言語マルチモーダルマルチタスクベンチマークである。
10言語にまたがる並列コーパス設計を備えており、公平で正確な言語間比較を可能にする。
これには、テキストとクエリがイメージに埋め込まれたビジョン設定が含まれており、LVLMは現実世界のアプリケーションと同時に"見る"、"読む"、"考える"必要がある。
論文 参考訳（メタデータ） (2025-03-24T09:38:37Z) - PunchBench: Benchmarking MLLMs in Multimodal Punchline Comprehension [69.73137587705646]
マルチモーダルなtextbfPunchline comprehension textbfPunchBenchmark を導入する。
評価精度を高めるために、原文のキャプションを変更して、同義語と無称のキャプションを生成する。
そこで我々は,パンチライン理解における最先端のMLLMと人間の間に大きなギャップがあることを明らかにする。
論文 参考訳（メタデータ） (2024-12-16T15:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。