論文の概要: The Mirage of Multimodality: Where Truth is Tested and Honesty Unravels

• arxiv url: http://arxiv.org/abs/2505.20214v1
• Date: Mon, 26 May 2025 16:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:27.023869
• Title: The Mirage of Multimodality: Where Truth is Tested and Honesty Unravels
• Title（参考訳）: マルチモダリティのミラージュ:真実がテストされ、正直な未開の地
• Authors: Jiaming Ji, Sitong Fang, Wenjing Cao, Jiahao Li, Xuyao Wang, Juntao Dai, Chi-Min Chan, Sirui Han, Yike Guo, Yaodong Yang,
• Abstract要約: 本研究は,マルチモーダル文脈におけるシステムIおよびシステムII推論に伴う歪みに関する最初の系統的研究である。 遅い推論モデルは、不完全あるいは誤解を招く視覚的入力を提示すると、欠陥のある推論をサポートするために、妥当で誤った詳細をつくり出す傾向にあることを実証する。
• 参考スコア（独自算出の注目度）: 22.497467057872377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning models have recently attracted significant attention, especially for tasks that involve complex inference. Their strengths exemplify the System II paradigm (slow, structured thinking), contrasting with the System I (rapid, heuristic-driven). Yet, does slower reasoning necessarily lead to greater truthfulness? Our findings suggest otherwise. In this study, we present the first systematic investigation of distortions associated with System I and System II reasoning in multimodal contexts. We demonstrate that slower reasoning models, when presented with incomplete or misleading visual inputs, are more likely to fabricate plausible yet false details to support flawed reasoning -- a phenomenon we term the "Mirage of Multimodality". To examine this, we constructed a 5,000-sample hierarchical prompt dataset annotated by 50 human participants. These prompts gradually increase in complexity, revealing a consistent pattern: slower reasoning models tend to employ depth-first thinking (delving deeper into incorrect premises), whereas faster chat models favor breadth-first inference, exhibiting greater caution under uncertainty. Our results highlight a critical vulnerability of slower reasoning models: although highly effective in structured domains such as mathematics, it becomes brittle when confronted with ambiguous multimodal inputs.
• Abstract（参考訳）: 推論モデルは最近、特に複雑な推論を含むタスクに対して大きな注目を集めている。 彼らの強みは、システムIIパラダイム(スロー、構造化思考)を、システムI(ラピッド、ヒューリスティック駆動)と対照的に示している。 しかし、推論の遅さは必然的に真実性を高めるのか? 私たちの発見は、そうでないことを示唆している。 本研究では,マルチモーダルな文脈におけるシステムIとシステムIIの推論に関連する歪みについて,初めて系統的研究を行った。 遅い推論モデルは、不完全あるいは誤解を招く視覚的インプットによって提示される場合、欠陥推論をサポートするために、妥当で誤った詳細を製造しがちである。 そこで本研究では,50人の被験者による5000サンプルの階層的プロンプトデータセットを構築した。 遅い推論モデルは深み優先の思考(誤った前提に深く浸透する)を採用する傾向があり、一方、より速いチャットモデルは広み優先の推論を好んでおり、不確実性の下でより注意を払っている。 数学のような構造的領域では極めて有効であるが、あいまいなマルチモーダル入力に直面すると不安定になる。

関連論文リスト

• LongPerceptualThoughts: Distilling System-2 Reasoning for System-1 Perception [105.78609483419115]
  我々はLongPerceptualThoughtsを紹介した。これは知覚タスクのための30Kの長所のトレースを持つ新しい合成データセットである。 本稿では,検証可能な複数の質問を最初に合成する新しい3段階データ合成フレームワークを提案する。 既存の視覚的推論データ生成手法よりも顕著な改善が示された。
  論文  参考訳（メタデータ） (2025-04-21T18:10:38Z)
• Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models [26.17300490736624]
  MLLM(Multimodal Large Language Models)は、一貫した視覚・テキスト入力で主に訓練され、テストされる。 本稿では,MLLMの意味的ミスマッチの検出と推論能力を評価するためのマルチモーダル不整合推論ベンチマークを提案する。 我々は6つの最先端MLLMを評価し、o1のような専用マルチモーダル推論能力を持つモデルは、その性能を大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-22T01:52:37Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Visual-O1: Understanding Ambiguous Instructions via Multi-modal Multi-turn Chain-of-thoughts Reasoning [53.45295657891099]
  本稿では,マルチモーダルなマルチターン・チェーン・オブ・シークレット・推論・フレームワークであるVisual-O1を提案する。 人間のマルチモーダルなマルチターン推論をシミュレートし、高度にインテリジェントなモデルに即時体験を提供する。 私たちの研究は、不確実性と曖昧さのある現実のシナリオにおいて、人工知能が人間のように機能する可能性を強調します。
  論文  参考訳（メタデータ） (2024-10-04T11:18:41Z)
• Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
  マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。 既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。 MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
  論文  参考訳（メタデータ） (2023-11-23T17:09:48Z)
• Concise and Organized Perception Facilitates Reasoning in Large Language Models [31.238220405009617]
  推論に取り組むために大規模な言語モデル(LLM)をエクスプロイトすることは、注目を集めている。 複雑な論理的問題において満足な結果を達成することは依然として非常に困難であり、コンテキスト内の多くの前提とマルチホップ推論が特徴である。 本研究は,まず情報フローの観点からそのメカニズムを考察し,不規則な内容や無関係な内容を扱う際に,人間のような認知バイアスに類似した困難に直面することを明らかにする。
  論文  参考訳（メタデータ） (2023-10-05T04:47:49Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。