論文の概要: TRAM: Enhancing Multimodal Reasoning with Trajectory-Derived Auxiliary Memory
- arxiv url: http://arxiv.org/abs/2608.01922v1
- Date: Mon, 03 Aug 2026 08:57:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.420268
- Title: TRAM: Enhancing Multimodal Reasoning with Trajectory-Derived Auxiliary Memory
- Title（参考訳）: TRAM: Trajectory-Derived Auxiliary Memoryによるマルチモーダル推論の強化
- Abstract要約: 推論軌道が成長するにつれて、モデルがコンテキスト内で確立された情報の使用において効果が低下する可能性がある。
既存のアプローチは主に、推論を通して視覚的な接地を維持することでこの問題に対処する。
本稿では,TRAM(TRajectory- derived Auxiliary Memory)について紹介する。
- 参考スコア（独自算出の注目度）: 35.19442792860492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Reasoning Models (MLRMs) have achieved strong performance on tasks requiring visual understanding and multi-step inference. However, as reasoning trajectories grow, models may become less effective at using information established earlier in the context, increasing the risk of reasoning errors. Existing approaches primarily address this problem by sustaining visual grounding throughout reasoning. However, reasoning also transforms visual observations into task-specific relations, constraints, and intermediate conclusions whose influence may weaken over long trajectories. Our attribution analysis suggests that correctness is not consistently separated by image attribution alone, but is more closely associated with whether trajectories retain and integrate such reasoning-derived information across stages. Motivated by this, we introduce TRAM (TRajectory-derived Auxiliary Memory), a training-free method that augments standard decoding with an auxiliary memory pathway derived from the model's own reasoning trajectory. TRAM consolidates completed reasoning into a compact latent memory, updates it online through fast and slow recurrent streams, and feeds it back into selected decoder layers through a lightweight residual pathway. Experiments across four MLRM variants on eight benchmarks show that TRAM improves performance over vanilla decoding on mathematical, scientific, and general visual reasoning tasks without additional training.
- Abstract（参考訳）: MLRM(Multimodal Large Reasoning Models)は、視覚的理解と多段階推論を必要とするタスクにおいて、強力なパフォーマンスを実現している。
しかしながら、推論軌跡が大きくなるにつれて、モデルが文脈で早期に確立された情報の使用において効果が低下し、推論エラーのリスクが増大する可能性がある。
既存のアプローチは主に、推論を通して視覚的な接地を維持することでこの問題に対処する。
しかし、推論はまた、視覚的な観察を、長い軌道上で影響が弱まる可能性のあるタスク固有の関係、制約、中間的な結論に変換する。
帰属分析の結果,画像の帰属だけでは正当性が一貫した分離ではないことが示唆された。
そこで本研究では,TRAM(TRajectory- derived Auxiliary Memory)を導入した。
TRAMは、完了した推論をコンパクトな潜在メモリに集約し、高速で遅いリカレントストリームを通じてオンラインで更新し、軽量な残留経路を通じて選択したデコーダ層にフィードバックする。
8つのベンチマークでMLRMの4つの変種にまたがる実験により、TRAMは、数学的、科学的、そして一般的な視覚的推論タスクにおいて、追加のトレーニングなしで、バニラ復号よりも性能を向上させることが示された。
関連論文リスト
- Continual Self-Improvement with Lightweight Experiential Latent Memories [5.476321641759679]
大規模言語モデルは、推論時間計算をスケールすることで、強力な推論性能を達成する。
In-Context Learning (ICL) が生の推論トレース上では一般化できないことを示す。
本稿では,問題に費やされた推論時間計算を,コンパクトなモジュラー潜在記憶に蒸留するオンライン手法を提案する。
論文 参考訳（メタデータ） (2026-06-16T11:27:28Z) - AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:26:34Z) - Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。
結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。
マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
論文 参考訳（メタデータ） (2026-04-08T07:48:07Z) - Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。
VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
論文 参考訳（メタデータ） (2026-03-27T12:22:13Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳（メタデータ） (2026-03-02T10:38:54Z) - Guided Verifier: Collaborative Multimodal Reasoning via Dynamic Process Supervision [11.159231524113764]
マルチモーダル大規模言語モデル(MLLM)の複雑な推論能力を高めるための重要なメカニズムとして強化学習(RL)が登場した。
本稿では,これらの構造的制約に対処する textbfGuided Verifier フレームワークを提案する。
我々は,マルチモーダル幻覚をターゲットとした特殊なデータ合成パイプラインを開発し,プロセスレベルの負の textbfCoRe データセットとtextbfCorrect-guide textbfReasoning トラジェクトリを構築し,ガイド付き検証器を訓練する。
論文 参考訳（メタデータ） (2026-02-04T07:38:42Z) - ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
明示的な推論連鎖は、かなりの計算冗長性をもたらす。
近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。
我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
論文 参考訳（メタデータ） (2026-01-30T17:08:06Z) - Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。
本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。
その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文 参考訳（メタデータ） (2026-01-07T16:39:34Z) - Directional Reasoning Injection for Fine-Tuning MLLMs [51.53222423215055]
マルチモーダルな大言語モデル(MLLM)は急速に進歩しているが、その推論能力は強いテキストのみのモデルよりも遅れていることが多い。
このギャップを埋める既存の方法は、大規模マルチモーダル推論データや強化学習の監督された微調整に依存している。
この問題を解決するために,DRIFT(Directional Reasoning Injection for Fine-Tuning)を提案する。
論文 参考訳（メタデータ） (2025-10-16T18:06:46Z) - Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。
専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。
我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
論文 参考訳（メタデータ） (2025-05-27T04:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。