論文の概要: ReactBench: A Benchmark for Topological Reasoning in MLLMs on Chemical Reaction Diagrams
- arxiv url: http://arxiv.org/abs/2604.15994v2
- Date: Thu, 23 Apr 2026 15:57:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:05.996447
- Title: ReactBench: A Benchmark for Topological Reasoning in MLLMs on Chemical Reaction Diagrams
- Title（参考訳）: ReactBench: 化学反応図によるMLLMのトポロジ的推論のベンチマーク
- Abstract要約: MLLM(Multimodal Large Language Models)は、個々の視覚的要素を認識し、単純な線形図形上の推論に優れる。
化学反応図による構造的推論の基本的な制限を明らかにするベンチマークであるReactBenchを紹介する。
我々のベンチマークは、4つの階層的なタスク次元にわたる1,618のエキスパートアノテーション付きQAペアで構成されている。
- 参考スコア（独自算出の注目度）: 21.265249070149842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) excel at recognizing individual visual elements and reasoning over simple linear diagrams. However, when faced with complex topological structures involving branching paths, converging flows, and cyclic dependencies, their reasoning capabilities degrade sharply, even on tasks as basic as counting endpoints. Existing benchmarks fail to probe this gap, focusing on semantic comprehension rather than structural reasoning. We introduce ReactBench, a benchmark that reveals fundamental limitations in structural reasoning through chemical reaction diagrams. These real-world scientific diagrams offer an ideal testbed because they naturally span diverse structures from linear chains to cyclic graphs, while requiring both precise local recognition and coherent global reasoning. Our benchmark comprises 1,618 expert-annotated QA pairs across four hierarchical task dimensions. Extensive evaluation across 17 MLLMs reveals a significant performance gap exceeding 30% between anchor-based tasks and holistic structural reasoning tasks. Controlled ablations confirm this bottleneck lies in reasoning, not perception. These findings expose a fundamental deficit in structural understanding and establish directions for advancing visual reasoning.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、個々の視覚的要素を認識し、単純な線形図形上の推論に優れる。
しかし、分岐経路、合流流、循環依存を含む複雑なトポロジ構造に直面した場合、それらの推論能力は、エンドポイントを数えるのと同じくらい基本的なタスクであっても、急激に低下する。
既存のベンチマークでは、構造的推論よりも意味的理解に重点を置いて、このギャップを探索することができない。
化学反応図による構造的推論の基本的な制限を明らかにするベンチマークであるReactBenchを紹介する。
これらの実世界の科学図は、線形鎖から巡回グラフまで様々な構造に自然に分布し、正確な局所認識とコヒーレントな大域的推論の両方を必要とするため、理想的なテストベッドを提供する。
我々のベンチマークは、4つの階層的なタスク次元にわたる1,618のエキスパートアノテーション付きQAペアで構成されている。
17個のMLLMにわたる広範囲な評価では、アンカーベースタスクと全体的構造的推論タスクの間に30%を超える大きなパフォーマンスギャップが示される。
制御された説明は、このボトルネックが知覚ではなく推論にあることを裏付ける。
これらの知見は、構造的理解の根本的な欠陥を明らかにし、視覚的推論を進めるための方向性を確立している。
関連論文リスト
- ChemVA: Advancing Large Language Models on Chemical Reaction Diagrams Understanding [56.94419746470799]
大規模言語モデル (LLM) は、科学的なテキスト処理に革命をもたらしたが、化学反応図を解釈する際には、大きな能力ギャップが現れる。
本稿では,視覚アンカー機構を用いたケミカルビジュアルアクティベーション(ChemVA)フレームワークを提案する。
我々は,高密度な視覚・セマンティックな文脈を特徴とする新たに構築されたデータセットであるOCRD-Benchに対するアプローチを評価する。
論文 参考訳（メタデータ） (2026-05-17T01:12:50Z) - Deep Reasoning in General Purpose Agents via Structured Meta-Cognition [58.185853639335896]
構造化メタ推論を用いてタスク固有の足場を構築するための推論時アプローチを提案する。
我々は、より制御された推論スレッドに複雑なタスクを分散する汎用エージェントでこのアプローチをインスタンス化する。
論文 参考訳（メタデータ） (2026-05-12T01:21:37Z) - SLASH the Sink: Sharpening Structural Attention Inside LLMs [55.75072688988806]
大規模言語モデル(LLM)は目覚ましい意味的理解を示すが、連続化されたフォーマットでグラフトポロジを処理する際に構造的理解に苦慮する。
本稿では,StructuraL Attention SHarpening (SLASH)を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:59:07Z) - Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs [20.82580343824728]
最近の大規模言語モデル (LLM) は、多くの確立された数学的推論ベンチマークにおいて、ほぼ飽和の精度を達成している。
この飽和はテンプレートベースの計算と浅い算術分解の優位性に起因している。
本稿ではReasoningMath-Plusについて紹介する。
論文 参考訳（メタデータ） (2026-01-31T07:09:17Z) - Dissecting Logical Reasoning in LLMs: A Fine-Grained Evaluation and Supervision Study [40.143148197878354]
我々は3次元にわたる論理的推論を評価するためのきめ細かい評価フレームワークであるFinalLogicを紹介した。
微調整形推論能力の異なる監督形式について検討する。
自然言語の監督は一般化において優れており、シンボリックな監督は構造的に健全な原子推論のステップを打つのに優れている。
論文 参考訳（メタデータ） (2025-06-05T09:34:12Z) - Can LLMs Reason Structurally? An Evaluation via the Lens of Data Structures [21.390740746718947]
DSR-Benchは,大規模言語モデルの構造的推論を体系的に評価する最初のベンチマークである。
ベンチマークは、20のデータ構造、35の操作、および、最小限の汚染で合成生成された4,140の問題インスタンスにまたがる。
論文 参考訳（メタデータ） (2025-05-29T23:24:53Z) - Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。
本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
論文 参考訳（メタデータ） (2025-04-14T10:06:27Z) - HiBench: Benchmarking LLMs Capability on Hierarchical Structure Reasoning [25.088407009353162]
構造推論のための既存のベンチマークは主に水平構造と座標構造に焦点を当てている。
HiBenchは、最初の構造生成から最終的な熟練度評価まで、最初のフレームワークである。
30のタスクで構成され、総クエリ数は39,519である。
論文 参考訳（メタデータ） (2025-03-02T14:25:37Z) - GRS-QA -- Graph Reasoning-Structured Question Answering Dataset [50.223851616680754]
グラフ推論-構造化質問応答データセット(GRS-QA)を導入する。
既存のM-QAデータセットとは異なり、GRS-QAは推論グラフを構築することで複雑な推論経路を明示的にキャプチャする。
実験により, LLMは, 様々な推論構造を用いて, 問合せ処理を行う際に, 異なる性能を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-11-01T05:14:03Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。