論文の概要: Bridging Modal Isolation in Interleaved Thinking: Supervising Modality Transitions via Stepwise Reinforcement

• arxiv url: http://arxiv.org/abs/2606.12886v1
• Date: Thu, 11 Jun 2026 04:29:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.578832
• Title: Bridging Modal Isolation in Interleaved Thinking: Supervising Modality Transitions via Stepwise Reinforcement
• Title（参考訳）: インターリーブド思考におけるブリッジングモーダル分離:ステップワイド強化によるモダリティ遷移の監視
• Authors: Tingyu Li, Le Zhou, Siyuan Li, Yujun Wu, Xinglong Xu, Jingxuan Wei, Conghui He, Cheng Tan,
• Abstract要約: インターリーブド思考では、統一マルチモーダルモデルはテキスト推論と視覚生成を交互に行う。 この移行を直接最適化する2段階のトレーニングフレームワークであるMoTiFを提案する。 MoTiFのすべてのトレーニング信号は、エンドタスクの精度よりも遷移レベルの忠実さから導かれる。
• 参考スコア（独自算出の注目度）: 36.14355710197341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interleaved thinking, where a unified multimodal model alternates between textual reasoning and visual generation, has shown promise on spatial and physical tasks. However, in complex long-chain scenarios, we identify a fundamental failure mode: generated images diverge from the textual context while subsequent text ignores the visual evidence, causing the two modalities to alternate without genuinely informing each other. We term this Modal Isolation and attribute it to compounding information loss at modality boundaries. We decompose each reasoning cycle into atomic operations and define modality transition loss, quantifying cross-modal hallucination (text-to-image) and visual utilization deficit (image-to-text) at each boundary. We propose MoTiF (Modality Tiransition Fidelity), a two-stage training framework that directly optimizes these transitions: Reflective SFT trains the model to detect and recover from erroneous visual outputs; Flow-GRPO improves image generation fidelity via reinforcement learning. All training signals in MoTiF derive from transition-level fidelity rather than end-task accuracy. Across four visual puzzle benchmarks, this transition-level supervision substantially improves both cross-modal coherence and final task accuracy. The results demonstrate that effective interleaved reasoning requires explicit structural supervision at modality boundaries, not merely scaling or end-task optimization.
• Abstract（参考訳）: 統合マルチモーダルモデルがテキスト推論と視覚生成を交互に交互に行うインターリーブド思考は,空間的・物理的タスクにおいて有望であることを示す。 しかし、複雑な長鎖のシナリオでは、生成した画像はテキストコンテキストから分岐し、その後のテキストは視覚的エビデンスを無視して、2つのモダリティを真に知らせることなく交換する。 これをモーダル分離と呼び、モダリティ境界における複合的な情報損失とみなす。 我々は各推論サイクルをアトミックな操作に分解し、モダリティ遷移損失を定義し、各境界における相互幻覚(text-to-image)と視覚的利用不足(image-to-text)を定量化する。 本研究では,これらの遷移を直接最適化する2段階のトレーニングフレームワークであるMoTiFを提案する。 MoTiFのすべてのトレーニング信号は、エンドタスクの精度よりも遷移レベルの忠実さから導かれる。 4つの視覚パズルのベンチマークにおいて、この遷移レベルの監督は、モーダル間のコヒーレンスと最終タスクの正確性の両方を大幅に改善する。 その結果、効果的なインターリーブ付き推論は、単にスケーリングやエンドタスク最適化ではなく、モダリティ境界における明示的な構造的監督を必要とすることが示された。

関連論文リスト

• Mind the Gap: Learning Modality-Agnostic Representations with a Cross-Modality UNet [21.513499794627165]
  クロスモダリティ認識は科学、法執行、エンターテイメントに多くの重要な応用がある。 識別関連情報を保持しながら、モダリティに依存しない表現を学習するためのコンパクトエンコーダデコーダニューラルモジュール(cmUNet)を提案する。 本稿では,モーダリティ非依存表現を入力とし,類似度スコアを出力する標準的な特徴抽出ネットワークに,cmUNetを接続するMarrNetを提案する。
  論文  参考訳（メタデータ） (2026-05-16T09:00:54Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• Dual-branch Prompting for Multimodal Machine Translation [9.903997553625253]
  本稿では,D2P-MMTを提案する。D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT)。 D2P-MMTは、事前学習した拡散モデルによって生成されたソーステキストと再構成画像のみを必要とする。 Multi30Kデータセットの実験により、D2P-MMTは既存の最先端手法よりも優れた翻訳性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-07-23T15:22:51Z)
• CLAMP: Contrastive Learning with Adaptive Multi-loss and Progressive Fusion for Multimodal Aspect-Based Sentiment Analysis [0.6961946145048322]
  本稿では,Adaptive Multi-lossとProgressive Attention Fusionを用いた,エンドツーエンドのコントラスト学習フレームワークを提案する。 このフレームワークは、Progressive Attention Fusion Network、Multi-task Contrastive Learning、Adaptive Multi-loss Aggregationの3つの新しいモジュールで構成されている。 標準の公開ベンチマークによる評価は、CLAMPが既存の最先端技術よりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-21T11:49:57Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。