論文の概要: Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2608.19669v1
- Date: Thu, 20 Aug 2026 06:04:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.459285
- Title: Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning
- Title（参考訳）: スキャッディングマインド:マルチモーダル推論のための潜在的視覚目標表現の最適化
- Abstract要約: 潜在推論は、2段階のトレーニングパラダイムを通じて、高度なマルチモーダル推論を持つ。
本稿では,このフレームワークの2つの重要な制限について述べる。
本稿では,ラテント空間に最適化されたターゲットを提供する専用スキャフォールディングエンコーダを提案し,RLサンプリング器の平均値と分散値の両方を学習する。
- 参考スコア（独自算出の注目度）: 27.76654348175208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent reasoning has advanced multimodal reasoning through a two-stage training paradigm: (1) a helper image is encoded into latent tokens to teach visual chain-of-thought during a supervised fine-tuning (SFT) stage, and (2) these latent tokens are further refined with reward feedback during a reinforcement learning (RL) stage. In this paper, we identify two key limitations of this framework, one in each stage. First, the SFT stage typically relies on an off-the-shelf vision encoder to encode the helper image, yielding suboptimal latent representations that may not be well aligned with the downstream reasoning task. Second, existing RL methods treat the latent component only through deterministic regularization, which constrains policy drift but does not create alternative latent trajectories for exploration. To address these limitations, we propose Scaffolding Minds. Our approach learns a dedicated scaffolding encoder that provides an optimized target in latent space, and learns both the mean and variance of the RL sampler. We further show that these two improvements are complementary, together yielding substantial gains over strong baselines. Empirically, our method improves over the strongest latent-reasoning baseline by +9.5% on FrozenLake spatial planning, with the gain widening to +19% at 32x32 grid map, and by +5.2% on average across nine visual-centric reasoning benchmarks.
- Abstract（参考訳）: 1) 教師付き微調整(SFT)段階における視覚連鎖を教えるためにヘルパーイメージを潜在トークンに符号化し,(2) 強化学習(RL)段階における報酬フィードバックにより潜在トークンをさらに洗練する。
本稿では,このフレームワークの2つの重要な制限について述べる。
第一に、SFTステージは典型的にはヘルパーイメージを符号化するオフ・ザ・シェルフ・ビジョン・エンコーダに依存しており、下流の推論タスクとうまく一致しない可能性のある、最適でない潜在表現を生成する。
第二に、既存のRL法は、政策のドリフトを制約するが探索のための代替の潜在軌道を作らない決定論的正則化によってのみ潜在成分を扱う。
これらの制約に対処するため、我々はScaffolding Mindsを提案する。
提案手法は,ラテント空間に最適化されたターゲットを提供する専用足場符号化器を学習し,RLサンプリング器の平均値と分散値の両方を学習する。
さらに、これらの2つの改善は相補的なものであり、共に強いベースラインよりも実質的な利益をもたらすことを示す。
実験的に、この手法は、フロゼンレイク空間計画において最強の潜伏基準を+9.5%改善し、32x32グリッドマップでは+19%、9つの視覚中心推論ベンチマークでは+5.2%向上した。
関連論文リスト
- Latent-Aligned Reasoning for Multimodal Recommendation [4.868819130885598]
1つのVLM内に相補的なアライメント機構を持つ2段階の潜在推論フレームワークであるLARKを提案する。
最初の段階では、学習可能な潜在トークンは多段階の連鎖推論でインターリーブされる。
第2段階では、潜在表現はブリッジを介して投影され、アイテム対イテムの対照的な学習で訓練される。
論文 参考訳（メタデータ） (2026-09-04T02:24:48Z) - Latent Thought Flow: Efficient Latent Reasoning in Large Language Models [23.52673819075993]
本稿では,可変長連続軌道をモデルとした潜在思考フロー(LTF)を提案する。
微調整と転写学習による実験では、LTFは明示的なCoTおよび潜在推論基準よりも優れており、精度は9.5%向上し、推論長は平均27.2%低下している。
論文 参考訳（メタデータ） (2026-06-15T05:02:46Z) - LASAR: Latent Adaptive Semantic Aligned Reasoning for Generative Recommendation [33.48046116606003]
大規模言語モデル(LLM)において、潜在推論が効果的なパラダイムとして出現した
SFT-then-RLフレームワークであるLASAR(Latent Adaptive Semantic Aligned Reasoning)を提案する。
3つの実世界のデータセットの実験は、LASARがすべてのベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-11T08:52:53Z) - CrystaL: Spontaneous Emergence of Visual Latents in MLLMs [55.34169914483764]
CrystaL(Crystallized Latent Reasoning)は,静止画像と劣化画像を処理するための2つの経路を持つ単一ステージフレームワークである。
CrystaLは2つの経路にまたがる注意パターンと予測分布を明確に調整することで、潜在表現をタスク関連視覚意味論に結晶化する。
知覚集約ベンチマークの実験では、CrystaLは最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-24T15:01:30Z) - Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning [16.244366307890832]
textbfDeepLatent Reasoning(DLR)を提案する。
このフレームワークは、試行錯誤コストを、高価なトークンレベルのフルシーケンス生成から連続潜在多様体へシフトさせる。
実験により、DLRはより安定した訓練収束を実現し、より長い水平推論チェーンをサポートし、推論能力の持続的な蓄積を促進することが示されている。
論文 参考訳（メタデータ） (2026-01-24T03:18:22Z) - Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。
遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。
この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。
後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。
Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
論文 参考訳（メタデータ） (2025-10-17T10:51:20Z) - Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。
この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。
クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
論文 参考訳（メタデータ） (2025-10-15T13:49:51Z) - Visual-CoG: Stage-Aware Reinforcement Learning with Chain of Guidance for Text-to-Image Generation [17.721669942843835]
本稿では,3段階からなるビジュアル・チェーン・オブ・ガイダンス(Visual-CoG)パラダイムを提案する。
提案したVisual-CoGでは,それぞれ15%,5%,19%の改善が見られた。
論文 参考訳（メタデータ） (2025-08-25T13:53:02Z) - Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。
パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。
我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
論文 参考訳（メタデータ） (2025-06-05T06:39:43Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。