論文の概要: LatentWeave: Test-Time Latent Optimization for Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2610.39557v1
- Date: Thu, 29 Oct 2026 07:58:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.476804
- Title: LatentWeave: Test-Time Latent Optimization for Multimodal Reasoning
- Title(参考訳): LatentWeave: マルチモーダル推論のためのテスト時間遅延最適化
- Abstract要約: 本稿では,マルチモーダル推論を制御可能な潜在軌道として扱うテストタイムフレームワークを提案する。
LatentWeaveは構造化された遅延ウィービングを実行する。
軽量WAEAVEトークンによるアンカーの共振による推論構造と解答指向生成の安定化
- 参考スコア(独自算出の注目度): 19.801930543617182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in test-time optimization have shown that the multimodal reasoning performance of large multimodal language models (MLLMs) can be improved during inference without modifying backbone model parameters. However, existing approaches primarily operate at the prompt or output level, leaving the latent reasoning process largely uncontrolled and insufficient to prevent error accumulation during autoregressive generation. To address this limitation, we propose LatentWeave, a test-time framework that treats multimodal reasoning as a controllable latent trajectory. LatentWeave performs structured Latent Weaving, progressively refining intermediate hidden states segment-wise to correct emerging deviations, and further introduces Reasoning Anchors via lightweight WEAVE tokens to stabilize reasoning structure and guide answer-oriented generation. These mechanisms are designed to enable fine-grained, step-aware intervention in the latent reasoning process while keeping the main MLLM backbone parameters fixed. Extensive experiments across diverse multimodal reasoning benchmarks report improvements over the evaluated baselines; the contribution of latent optimization, anchor training, and additional test-time computation is analyzed separately in the ablation and efficiency studies. Our code is available at https://github.com/jins7/LatentWeave.
- Abstract(参考訳): 近年の試験時間最適化の進歩により,大規模マルチモーダル言語モデル(MLLM)のマルチモーダル推論性能は,バックボーンモデルパラメータを変更することなく,推論中に向上できることが示された。
しかし、既存のアプローチは、主にプロンプトまたは出力レベルで動作し、潜在する推論プロセスは制御されず、自動回帰生成時にエラーの蓄積を防ぐのに不十分である。
この制限に対処するため,マルチモーダル推論を制御可能な潜在軌道として扱うテストタイムフレームワークであるLatentWeaveを提案する。
LatentWeaveは構造化された遅延ウィービングを実行し、出現する偏差を修正するために段階的に中間隠れ状態を段階的に精錬し、さらに軽量なWAEAVEトークンを通じてReasoning Anchorsを導入し、推論構造を安定化し、回答指向生成をガイドする。
これらのメカニズムは、主要なMLLMバックボーンパラメータを固定しつつ、潜伏推論プロセスにおけるきめ細かいステップアウェア介入を可能にするように設計されている。
様々なマルチモーダル推論ベンチマークの広範な実験では、評価ベースラインよりも改善が報告されており、アブレーションと効率の研究では、潜時最適化、アンカートレーニング、追加のテスト時間計算の寄与が別々に分析されている。
私たちのコードはhttps://github.com/jins7/LatentWeaveで利用可能です。
関連論文リスト
- OneLatent: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
OneLatentは、明示的な推論トレースを学習可能な潜在トークンに圧縮する効率的な潜在推論フレームワークである。
OneLatentは、明示的なCoTベースのメソッドや従来のベースラインよりも一貫して優れています。
我々は、スケーラブルでリアルタイムなFRM推論のための製品提供システムをさらに開発する。
論文 参考訳(メタデータ) (2026-10-22T03:39:38Z) - AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳(メタデータ) (2026-05-25T08:26:34Z) - DiffuReason: Bridging Latent Reasoning and Generative Refinement for Sequential Recommendation [20.756497463882763]
逐次レコメンデーションのための統合された「シンク・テン・ディフューズ」フレームワークであるDiffuReasonを提案する。
潜時推論のための多段階思考トークン、中間表現をデノナイズするための拡散ベースの洗練、およびエンドツーエンドのグループ相対ポリシー最適化を統合している。
4つのベンチマークの実験では、DiffuReasonはさまざまなバックボーンアーキテクチャを一貫して改善している。
論文 参考訳(メタデータ) (2026-02-10T12:55:30Z) - Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs [49.66344956133349]
推論能力は、大規模な(ビジョン)言語モデルのための推論時間性能と強化学習(RL)トレーニングの両方を形作る。
本稿では,戦略的文脈化のための潜在変数をモデルに付与する新しい潜在変調フレームワークであるReasoning Paletteを提案する。
論文 参考訳(メタデータ) (2025-12-19T03:32:53Z) - Rectifying LLM Thought from Lens of Optimization [48.98086817378953]
ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。
進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。
ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
論文 参考訳(メタデータ) (2025-12-01T17:41:08Z) - MRO: Enhancing Reasoning in Diffusion Language Models via Multi-Reward Optimization [66.82303841930752]
拡散言語モデル (DLMs) は従来の自己回帰型大規模言語モデル (LLMs) に代わる有望な選択肢を提供する。
DLMは、特にデノナイジングステップの数が減少するにつれて、LLMよりも遅れている。
本稿では,マルチリワード最適化 (MRO) 手法を提案する。
論文 参考訳(メタデータ) (2025-10-24T13:57:59Z) - Directional Reasoning Injection for Fine-Tuning MLLMs [51.53222423215055]
マルチモーダルな大言語モデル(MLLM)は急速に進歩しているが、その推論能力は強いテキストのみのモデルよりも遅れていることが多い。
このギャップを埋める既存の方法は、大規模マルチモーダル推論データや強化学習の監督された微調整に依存している。
この問題を解決するために,DRIFT(Directional Reasoning Injection for Fine-Tuning)を提案する。
論文 参考訳(メタデータ) (2025-10-16T18:06:46Z) - Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization [5.674809920704963]
Latent Thought Policy Optimizationは、LLM推論を完全にテスト時に強化する。
実験により、LTPOは標準タスクの強いベースラインに適合または超えるだけでなく、他のタスクが失敗する際、顕著な堅牢性を示すことが示された。
とりわけ、既存の遅延推論ベースラインがほぼゼロに近い精度に崩壊する非常に難しいAIMEベンチマークでは、LTPOが大幅に改善されている。
論文 参考訳(メタデータ) (2025-10-05T12:50:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。