論文の概要: Advantage-Guided Gate: Reshaping Open-Ended Reasoning for Vision-Based Spatial Intelligence
- arxiv url: http://arxiv.org/abs/2608.07987v1
- Date: Sat, 08 Aug 2026 07:46:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.594339
- Title: Advantage-Guided Gate: Reshaping Open-Ended Reasoning for Vision-Based Spatial Intelligence
- Title（参考訳）: アドバンテージガイドゲート:視覚に基づく空間情報のためのオープンエンディング推論の再構築
- Abstract要約: マルチモーダル大言語モデル (MLLM) は複雑な空間的シーン理解と推論タスクにおいて有意な可能性を証明している。
しかし、彼らのオープンな推論プロセスは、意思決定の誤りやエラーの蓄積を招きやすいため、回答の品質が不安定になる。
本稿では,推論過程において動的に介入し,偏差を補正するアドバンテージ誘導型ゲーティングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 70.8951332710039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) have demonstrated significant potential in complex spatial scene understanding and reasoning tasks. However, their open-ended reasoning process is prone to decision errors and error accumulation, leading to instability in answer quality. To address this, we propose an advantage-guided gating framework that dynamically intervenes in and corrects deviations during the reasoning process. Specifically, we model step-by-step reasoning as a finite-horizon decision process and introduce Monte Carlo value evaluation on the reasoning tree to provide intermediate supervision signals. The framework includes Step-Advantage Gate and Trajectory-Advantage Gate, which dynamically select high-value reasoning steps and high-quality complete reasoning trajectories, respectively. During training, we perform supervised learning for the gates using reasoning trees generated via multi-branch sampling, and combine shared-parameter initialization with task-specific heads to achieve cross-task robustness and diversity. During inference, the model greedily selects high-value prefix reasoning steps while choosing the optimal reasoning head based on the problem type, thereby significantly improving the accuracy of the final answer. Furthermore, we constructed the Reasoning-Tree-160k dataset and performed two-stage learning on it. Extensive experiments demonstrate that this advantage-guided gating framework effectively enhances the performance of benchmark MLLMs in visual-based spatial understanding and reasoning tasks. The code is open to the public for research: https://github.com/LingLin-ll/Advantage-Guided-Gate.
- Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は複雑な空間的シーン理解と推論タスクにおいて有意な可能性を証明している。
しかし、彼らのオープンな推論プロセスは、意思決定の誤りやエラーの蓄積を招きやすいため、回答の品質が不安定になる。
そこで本研究では,動的に介入し,推論過程のずれを補正するアドバンテージ誘導型ゲーティングフレームワークを提案する。
具体的には、有限水平決定過程としてステップバイステップ推論をモデル化し、中間的な監視信号を提供するために、推論木にモンテカルロ値の評価を導入する。
このフレームワークにはStep-Advantage GateとTrjectory-Advantage Gateが含まれており、それぞれが高価値推論ステップと高品質な完全推論トラジェクトリを動的に選択する。
訓練中,マルチブランチサンプリングにより生成された推論木を用いてゲートの教師あり学習を行い,タスク固有の頭部と共有パラメータ初期化を組み合わせて,タスク間の堅牢性と多様性を実現する。
推論中、モデルが問題タイプに基づいて最適な推論ヘッドを選択しつつ、高い値のプレフィックス推論ステップを欲しがって選択し、最終回答の精度を大幅に向上させる。
さらに、Reasoning-Tree-160kデータセットを構築し、2段階の学習を行った。
広汎な実験により、このアドバンテージガイダンスゲーティングフレームワークは、視覚に基づく空間的理解および推論タスクにおけるベンチマークMLLMの性能を効果的に向上することを示した。
コードについては、https://github.com/LingLin-ll/Advantage-Guided-Gate.comで公開されている。
関連論文リスト
- LaRec: Unleashing LLM-based Latent Reasoning for Generative Recommendation [27.643675369277858]
潜伏推論は、連続的な潜伏空間内で考えることで効率のバランスをとることを目的としています。
LaRec$は、遅延推論の可能性を解き放つために設計された効率的な生成レコメンデーションフレームワークである。
複数のデータセットの実験によると、$LaRec$は既存のベースラインを同等の効率で大幅に上回っている。
論文 参考訳（メタデータ） (2026-07-27T16:14:57Z) - Heuristic Classification of Thoughts Prompting (HCoT): Integrating Expert System Heuristics for Structured Reasoning into Large Language Models [9.545957160908115]
HCoT(Huristic- classification-of-Thoughts prompting schema)
HCoT(Huristic- classification-of-Thoughts prompting schema)
HCoT(Huristic- classification-of-Thoughts prompting schema)
論文 参考訳（メタデータ） (2026-04-14T07:24:08Z) - Learning When to Sample: Confidence-Aware Self-Consistency for Efficient LLM Chain-of-Thought Reasoning [7.8668388431725695]
大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)推論によって強い推論性能を達成する。
最近の自己整合性に基づくアプローチは、精度をさらに向上するが、複数の推論軌道のサンプリングと集約が必要である。
本稿では,単一経路と複数経路の推論を適応的に選択するための単一経路推論軌道を解析する信頼度対応決定フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-09T22:34:06Z) - Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。
本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。
本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
論文 参考訳（メタデータ） (2026-01-08T15:56:44Z) - From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。
DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。
実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
論文 参考訳（メタデータ） (2025-10-13T14:29:15Z) - Plan Then Action:High-Level Planning Guidance Reinforcement Learning for LLM Reasoning [22.177866778776814]
本稿では,高レベルプランニングときめ細かいCoT推論の両方を改善するために設計された2段階のフレームワークを提案する。
第1段階では,高度なLCMを用いてCoTを蒸留して高レベル誘導を行い,それを教師付き微調整に用いる。
第2段階では、最終出力と高レベルガイダンスの品質を協調的に最適化するガイダンス対応RL手法を導入する。
論文 参考訳（メタデータ） (2025-10-02T09:28:13Z) - PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。
シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。
実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
論文 参考訳（メタデータ） (2025-05-29T17:55:49Z) - Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。
OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
論文 参考訳（メタデータ） (2025-03-20T17:59:38Z) - Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳（メタデータ） (2024-02-01T15:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。