論文の概要: When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making

• arxiv url: http://arxiv.org/abs/2603.16673v1
• Date: Tue, 17 Mar 2026 15:38:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.381086
• Title: When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making
• Title（参考訳）: ロボットはいつ考えるべきか : 身体決定のための強化学習による資源認識推論
• Authors: Jun Liu, Pu Zhao, Zhenglun Kong, Xuan Shen, Peiyan Dong, Fan Yang, Lin Cui, Hao Tang, Geng Yuan, Wei Niu, Wenbin Zhang, Xue Lin, Gaowen Liu, Yanzhi Wang, Dong Huang,
• Abstract要約: 身体ロボットシステムは、高レベルの推論をサポートするために、大規模言語モデル(LLM)ベースのエージェントにますます依存している。 エージェントはいつ、いつ、いつ行動すべきか? 本稿では,エンボディエージェントのリソース・アウェア・オーケストレーションのための階層的なフレームワークであるRARRL(Resource-Aware Reasoning via Reinforcement Learning)を提案する。
• 参考スコア（独自算出の注目度）: 68.12864562049957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied robotic systems increasingly rely on large language model (LLM)-based agents to support high-level reasoning, planning, and decision-making during interactions with the environment. However, invoking LLM reasoning introduces substantial computational latency and resource overhead, which can interrupt action execution and reduce system reliability. Excessive reasoning may delay actions, while insufficient reasoning often leads to incorrect decisions and task failures. This raises a fundamental question for embodied agents: when should the agent reason, and when should it act? In this work, we propose RARRL (Resource-Aware Reasoning via Reinforcement Learning), a hierarchical framework for resource-aware orchestration of embodied agents. Rather than learning low-level control policies, RARRL learns a high-level orchestration policy that operates at the agent's decision-making layer. This policy enables the agent to adaptively determine whether to invoke reasoning, which reasoning role to employ, and how much computational budget to allocate based on current observations, execution history, and remaining resources. Extensive experiments, including evaluations with empirical latency profiles derived from the ALFRED benchmark, show that RARRL consistently improves task success rates while reducing execution latency and enhancing robustness compared with fixed or heuristic reasoning strategies. These results demonstrate that adaptive reasoning control is essential for building reliable and efficient embodied robotic agents.
• Abstract（参考訳）: 身体ロボットシステムは、環境との相互作用の間、高いレベルの推論、計画、意思決定をサポートするために、大規模言語モデル(LLM)ベースのエージェントにますます依存している。 しかし、LLM推論を起動すると、処理の遅延とリソースのオーバーヘッドが大幅に増加し、動作の実行を中断し、システムの信頼性を低下させる。 過剰な推論はアクションを遅らせる可能性があるが、不十分な推論は誤った判断やタスクの失敗につながることが多い。 エージェントはいつ、いつ、いつ行動すべきか? 本研究では,エンボディエージェントのリソース・アウェア・オーケストレーションのための階層的なフレームワークであるRARRL(Resource-Aware Reasoning via Reinforcement Learning)を提案する。 低レベルのコントロールポリシを学ぶ代わりに、RARRLはエージェントの意思決定層で動作する高レベルのオーケストレーションポリシを学ぶ。 このポリシーは、エージェントが推論を実行するかどうか、どの推論の役割を使うか、そして現在の観測、実行履歴、および残りのリソースに基づいてどれだけの計算予算を割り当てるかを適応的に決定することを可能にする。 ALFREDベンチマークから得られた経験的レイテンシプロファイルによる評価を含む大規模な実験では、RARRLは実行遅延を低減し、固定的またはヒューリスティックな推論戦略と比較して堅牢性を高めながら、タスクの成功率を一貫して改善している。 これらの結果から,ロボットエージェントの構築には適応推論制御が不可欠であることが示唆された。

関連論文リスト

• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective [3.0868637098088403]
  大規模言語モデル(LLM)ベースのAIエージェントは最近、動的推論を採用することで、印象的な汎用性を示した。 本稿では,AIエージェントを包括的に分析し,リソース使用量,遅延動作,エネルギー消費,テストタイムスケーリング戦略を定量化する。 その結果,エージェントは計算量の増加によって精度が向上する一方で,急速に低下するリターン,レイテンシのばらつきの拡大,持続不可能なインフラストラクチャコストに悩まされていることがわかった。
  論文  参考訳（メタデータ） (2025-06-04T14:37:54Z)
• The Real Barrier to LLM Agent Usability is Agentic ROI [110.31127571114635]
  大規模言語モデル(LLM)エージェントは、人間とAIの相互作用において有望な変化を示す。 我々は、需要の高いマスマーケットアプリケーションにおいて、重要なユーザビリティギャップを強調します。
  論文  参考訳（メタデータ） (2025-05-23T11:40:58Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Decision-Making Among Bounded Rational Agents [5.24482648010213]
  本稿では,情報理論の観点からの有界合理性の概念をゲーム理論の枠組みに導入する。 これにより、ロボットは他のエージェントの準最適動作を推論し、計算上の制約の下で行動することができる。 その結果,ロボットが他のエージェントの理性行動の異なるレベルを推論し,その計算制約の下で合理的な戦略を計算できることが実証された。
  論文  参考訳（メタデータ） (2022-10-17T00:29:24Z)
• Accelerated Reinforcement Learning for Temporal Logic Control Objectives [10.216293366496688]
  本稿では,未知マルコフ決定過程(MDP)をモデル化した移動ロボットの学習制御ポリシーの問題に対処する。 本稿では,制御ポリシを関連手法よりもはるかに高速に学習可能な制御対象に対するモデルベース強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T17:09:51Z)
• Automated Machine Learning, Bounded Rationality, and Rational Metareasoning [62.997667081978825]
  有界合理性の観点から、自動機械学習(AutoML)と関連する問題を考察する。 リソース境界の下でアクションを取るには、エージェントがこれらのリソースを最適な方法で利用する方法を反映する必要がある。
  論文  参考訳（メタデータ） (2021-09-10T09:10:20Z)
• Enhancing reinforcement learning by a finite reward response filter with a case study in intelligent structural control [0.0]
  多くの強化学習(RL)問題では、エージェントの作用が環境に最大限の影響を及ぼすまで、しばらく時間がかかる。 本稿では,学習段階の開始時にエージェントがひとつの行動をとる,適用可能な拡張Q-ラーニング手法を提案する。 本研究では, 地震応答を受ける建物の振動を所定遅延で低減することを目的とした構造制御問題に対して, 提案手法を適用した。
  論文  参考訳（メタデータ） (2020-10-25T19:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。