論文の概要: $R^3$: Training Robots to Reason in Natural Language via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.26053v1
- Date: Wed, 26 Aug 2026 17:25:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.985201
- Title: $R^3$: Training Robots to Reason in Natural Language via Reinforcement Learning
- Title（参考訳）: R^3$:強化学習による自然言語推論ロボットの訓練
- Abstract要約: R3$は、市販のVLMをロボット推論器に変えるシンプルなポストトレーニングレシピだ。
R3$は、テスト時のアクションガイダンスを生成するために、自由形式の言語推論を訓練する。
分析の結果,自由形式の言語推論は低レベルポリシーを操るテストタイム計算機構として機能することが示唆された。
- 参考スコア（独自算出の注目度）: 28.431445530745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning in language allows foundation models to spend more test-time compute on hard problems, such as those requiring decomposition, constraint tracking, and prediction of future consequences. Whether this mechanism can improve robotic manipulation remains unclear, where long-horizon tasks require tracking partial progress, reasoning about object relations, recovering from mistakes, and steering noisy low-level policies. In this paper, we study whether VLMs can be trained to reason directly in natural language to guide low-level manipulation policies. We introduce $R^3$, a simple post-training recipe that turns off-the-shelf VLMs into robotic reasoners: it first mid-trains a VLM on expert-generated reasoning traces to initialize the desired reasoning style, then improves the reasoner with single-step rubric-based RL from offline action data. Unlike prior robotic reasoning methods that mostly use structured traces as auxiliary supervision, $R^3$ trains free-form language reasoning to produce test-time guidance for action. We instantiate $R^3$ on Language Table and simulated bimanual grocery packing, two controlled testbeds for studying robotic reasoning and long-horizon manipulation. $R^3$ improves exploration and generalization across unseen tasks and significantly outperforms instruction-only imitation learning baselines on both benchmarks. Our analyses suggest that free-form language reasoning can function as a test-time compute mechanism for steering low-level policies. Our project page is available at https://robotic-reasoner.github.io/.
- Abstract（参考訳）: 言語での推論により、ファンデーションモデルは、分解、制約追跡、将来の結果の予測など、難しい問題により多くのテストタイム計算を費やすことができる。
このメカニズムがロボット操作を改善するかどうかは不明だが、長い水平作業では、部分的な進行の追跡、オブジェクトの関係の推論、ミスからの回復、ノイズの多い低レベルポリシーの操縦が必要となる。
本稿では,VLMを自然言語で直接推論し,低レベルな操作ポリシーを導出できるかどうかを考察する。
まず、専門家が生成した推論トレースに基づいてVLMをトレーニングし、所望の推論スタイルを初期化し、単一ステップのルーリックベースのRLをオフラインアクションデータから推論する。
構造化トレースを補助的監視として使用する従来のロボット推論法とは異なり、R^3$は、テストタイムの行動ガイダンスを作成するためにフリーフォーム言語推論を訓練する。
我々はLanguage Table上でR^3$をインスタンス化し、ロボット推論とロングホライゾン操作を研究するための2つの制御テストベッドをシミュレーションした。
R^3$は、目に見えないタスク間の探索と一般化を改善し、両方のベンチマークで命令のみの模倣学習ベースラインを大幅に上回る。
分析の結果,自由形式の言語推論は低レベルポリシーを操るテストタイム計算機構として機能することが示唆された。
プロジェクトページはhttps://robotic-reasoner.github.io/.com/で公開されている。
関連論文リスト
- Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key [10.342627180897313]
本稿では,2軸の難易度を独立に制御する合成論理推論フレームワークであるScaleLogicを紹介する。
RLのトレーニング計算である$T$は、推論深度に関する電力法則に従うことを示す。
より表現力のあるトレーニング設定は、より大きなパフォーマンス向上とより計算効率の高い転送をもたらす。
論文 参考訳（メタデータ） (2026-05-07T17:48:42Z) - Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation [0.0]
本稿では、LLMエージェントがロボット操作ポリシーを改善するためのフレームワークであるAct-Observe-Rewrite(AOR)を提案する。
AORはLLM推論の単位として、完全な低レベルモーター制御を実装している。
エージェントは、デモンストレーション、報酬工学、勾配更新なしで高い成功率を達成する。
論文 参考訳（メタデータ） (2026-03-03T22:15:55Z) - GoalLadder: Incremental Goal Discovery with Vision-Language Models [38.35578010611503]
視覚環境における単一言語命令からRLエージェントを学習する新しい手法を提案する。
GoalLadderは、自然言語で指定されたタスクの完了にエージェントを近づける状態の漸進的な発見で動作する。
以前の作業とは異なり、GoalLadderはVLMのフィードバックを完全に信頼していない。
論文 参考訳（メタデータ） (2025-06-19T15:28:27Z) - Language models can learn implicit multi-hop reasoning, but only if they have lots of training data [51.92147944576878]
暗黙の推論は、言語モデルが単一のフォワードパスでマルチホップ推論タスクを解く能力である。
このようなモデルでは暗黙的な$k$-hop推論を学べるが、必要なトレーニングデータは$k$で指数関数的に増加する。
論文 参考訳（メタデータ） (2025-05-23T14:01:56Z) - Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models [67.87579664988199]
TONは視覚言語モデル(VLM)のための2段階のトレーニング戦略である
選択的な推論のためのコールドスタートとして機能するシンクまたはノットフォーマットを導入している。
TONは、バニラGRPOと比較して、完成期間を最大90%短縮することができる。
論文 参考訳（メタデータ） (2025-05-22T16:13:29Z) - Thinkless: LLM Learns When to Think [57.857534644932194]
推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。
我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。
Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
論文 参考訳（メタデータ） (2025-05-19T17:24:16Z) - General Intelligence Requires Reward-based Pretraining [14.057301560895505]
大規模言語モデル(LLM)は、実世界の素晴らしいユーティリティを実証している。
しかし、適応的かつ堅牢に推論できる能力は、脆弱なままだ。
我々は3つの重要な方向から知識と推論を解き放つことを提案する。
論文 参考訳（メタデータ） (2025-02-26T18:51:12Z) - Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。
視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。
ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
論文 参考訳（メタデータ） (2024-07-11T17:31:01Z) - Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning [54.585428241509234]
逆カリキュラム強化学習(RL)によるR$3の学習推論を提案する。
RLは、大規模言語モデルのプロセス監視の利点を達成するために、結果監視のみを採用する。
論文 参考訳（メタデータ） (2024-02-08T16:46:26Z) - Surfer: Progressive Reasoning with World Models for Robotic Manipulation [51.26109827779267]
本稿では,新しいシンプルなロボット操作フレームワークであるSurferを紹介する。
Surferは、ロボット操作を視覚シーンの状態伝達として扱い、それをアクションとシーンという2つの部分に分割する。
これは世界モデルに基づいており、ロボット操作を視覚シーンの状態伝達として扱い、アクションとシーンの2つの部分に分けられる。
論文 参考訳（メタデータ） (2023-06-20T07:06:04Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳（メタデータ） (2022-02-03T18:55:52Z) - Differentiable Logic Machines [38.21461039738474]
微分可能論理マシン(DLM)と呼ばれる新しいニューラル論理アーキテクチャを提案する。
DLMは帰納論理プログラミング(ILP)と強化学習(RL)の両方の問題を解くことができる。
解釈可能な解を必要としないRL問題では、DLMは他の解釈不可能なニューラル論理的RLアプローチよりも優れている。
論文 参考訳（メタデータ） (2021-02-23T07:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。