論文の概要: SciReC: Diagnostic Evaluation of Multimodal, Multi-Turn Relational Reasoning with Adaptive Interaction

• arxiv url: http://arxiv.org/abs/2608.27461v1
• Date: Wed, 01 Jul 2026 15:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.388802
• Title: SciReC: Diagnostic Evaluation of Multimodal, Multi-Turn Relational Reasoning with Adaptive Interaction
• Title（参考訳）: SciReC:適応的相互作用を考慮したマルチモーダル・マルチチュール関係推論の診断評価
• Abstract要約: リレーショナル推論は、すべてのモデルにおけるエラーの主な原因であり、次いでメモリ制限である。 本研究では, 視覚的理解, 知識の提示, 記憶のリコールの寄与を定量化し, 失敗例の主原因を同定する, 障害ベースの診断フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 24.554748447082194
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Relational reasoning requires the process of perceptual understanding, comparing, and integrating the underlying relationships between concepts. This ability consists of multiple categories, such as analogical, structural, and cause-effect, each capturing a different aspect of higher-order understanding. To examine the performance of multimodal large language models (MLLM) on these relational inference tasks, we developed SciReC, a model-adaptive multimodal academic dialog benchmark. As the relational reasoning process involves multiple representations and various factors (visual understanding, exhibiting knowledge, and memory recall), we propose DMRA, a deficit-based diagnostic framework that quantifies the contribution of these components to identify the primary cause of unsuccessful cases. Claude 4.6 achieved the best performance on the overall relational score with 73\%, followed by GPT 5.4 with 68\%. Performance trends indicate that open-source models achieve their lowest scores on spatial relations, while proprietary models struggle more with hierarchical and sequential relations. Across domains, model performance is lowest on Astronomy and highest on Psychology. The results of DMRA reveal that relational reasoning is the primary source of error across all models, followed by memory limitations.
• Abstract（参考訳）: 関係推論は、概念間の基礎となる関係を理解し、比較し、統合するプロセスを必要とする。 この能力は、類似性、構造、原因効果などの複数のカテゴリから構成され、それぞれが高次理解の異なる側面を捉えている。 モデル適応型マルチモーダル学術ダイアログベンチマークであるSciReCを開発した。 関係推論プロセスには複数の表現と様々な要因(視覚的理解,知識の提示,記憶のリコール)が伴うため,これらの要因の寄与を定量化するための障害ベースの診断フレームワークであるDMRAを提案する。 Claude 4.6 は、全体のリレーショナルスコア 73\%、GPT 5.4 68\% で最高のパフォーマンスを達成した。 性能傾向は、オープンソースモデルは空間的関係において最も低いスコアを達成し、プロプライエタリモデルは階層的およびシーケンシャルな関係に苦慮していることを示している。 ドメイン全体では、モデルパフォーマンスは天文学では最低であり、心理学では最高である。 DMRAの結果、リレーショナル推論が全てのモデルにまたがるエラーの原因であり、メモリ制限が続くことが明らかになった。

関連論文リスト

• Benchmarking LLM Causal Reasoning with Scientifically Validated Relationships [21.03106821967686]
  因果推論は、真の因果関係を理解するための大言語モデルの基本である。 既存のベンチマークは、合成データへの依存やドメインカバレッジの狭さといった、重大な制限に悩まされている。 本稿では,上位階層の経済誌と財務誌から抽出したカジュアルに同定された関係から構築された新しいベンチマークを紹介する。
  論文  参考訳（メタデータ） (2025-10-08T17:00:49Z)
• Revealing Multimodal Causality with Large Language Models [80.95511545591107]
  非構造化データからマルチモーダル因果発見のための新しいフレームワークであるMLLM-CDを提案する。 本研究は,(1)真のマルチモーダル因子を同定する新しいコントラッシブ・ファクター発見モジュール,(2)発見要因間の因果関係を推測する統計的因果構造発見モジュール,(3)発見結果を洗練するための反復的マルチモーダル・カウンターファクト・推論モジュールの3つの重要な構成要素から構成される。 合成と実世界の両方のデータセットに対する大規模な実験は、提案したMLLM-CDの有効性を実証している。
  論文  参考訳（メタデータ） (2025-09-22T13:45:17Z)
• Disentangling Bias by Modeling Intra- and Inter-modal Causal Attention for Multimodal Sentiment Analysis [25.791796193062012]
  マルチモーダル感情分析(MSA)は、テキスト、音声、視覚データなどの複数のモーダルからの情報を統合することで、人間の感情を理解することを目的としている。 既存の手法は、しばしばモダリティ内およびモダリティ間の急激な相関に悩まされ、モデルが真の因果関係ではなく統計的ショートカットに依存するようになる。 本稿では,マルチリレーショナルマルチモーダル因果干渉(MMCI)モデルを提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:24:04Z)
• Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning [22.32435186013626]
  本稿では,いくつかの潜在能力因子の線形変換としてベンチマーク性能をモデル化した因果表現学習フレームワークを提案する。 このアプローチを6つのベンチマークで評価された1500以上のモデルを含む包括的データセットに適用することにより、観測された性能変動を確実に説明できる簡潔な3ノード線形因果構造を同定する。
  論文  参考訳（メタデータ） (2025-06-12T06:07:42Z)
• Reward Models Identify Consistency, Not Causality [54.987590763737145]
  最先端の報酬モデルでは、因果正しさよりも構造的な一貫性が優先される。 問題文の削除は報酬のスコアに最小限の影響を与える。 数値を変更するか、推論フローを乱すかは、RM出力に大きく影響する。
  論文  参考訳（メタデータ） (2025-02-20T14:57:14Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• MMRel: A Relation Understanding Benchmark in the MLLM Era [72.95901753186227]
  MMRel(Multi-Modal Relation Understanding)は、オブジェクト間の関係に関する大規模で高品質で多様なデータを特徴付けるベンチマークである。 MMRelは、関係理解に基づくMLLMの評価や、関係理解能力を高めるための微調整MLLMに最適である。
  論文  参考訳（メタデータ） (2024-06-13T13:51:59Z)
• MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models [70.92847554971065]
  MT-Evalは,マルチターン対話能力を評価するための総合的なベンチマークである。 人間のLLM会話を解析することにより,インタラクションパターンを,再現,拡張,洗練,フォローアップの4つのタイプに分類する。 11個の有名なLCMを評価したところ、クローズドソースモデルは一般的にオープンソースモデルを上回るが、特定のタスクにおいて特定のオープンソースモデルの方がGPT-3.5-Turboを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-30T04:50:28Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。