論文の概要: From LLM-Generated Specifications to Learned Quadruped Locomotion

• arxiv url: http://arxiv.org/abs/2609.07111v1
• Date: Mon, 07 Sep 2026 06:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.375816
• Title: From LLM-Generated Specifications to Learned Quadruped Locomotion
• Title（参考訳）: LLM仕様から学習された四足歩行へ
• Abstract要約: 四足歩行ロボットの動作ポリシーは、しばしば強化学習を用いて訓練される。 多くの場合、どの地域報酬が望ましいグローバルな行動を引き起こすかは定かではない。 本稿では,大言語モデル(LLM)が信号時間論理(PSTL)の仕様を生成することにより,このギャップを埋めることができるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 7.240440138551274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quadruped robot locomotion policies are often trained using reinforcement learning, which in turn relies heavily on hand-crafted reward functions. Designing reward functions requires substantial manual engineering, and it is often unclear which local rewards will induce the desired global behavior. Shaped rewards from formal specifications in languages like Signal Temporal Logic (STL) can make rewards more interpretable, but writing STL specifications itself still requires domain expertise. We study whether large language models (LLMs) can fill this gap by generating Parametric Signal Temporal Logic (PSTL) specifications that are subsequently used for policy learning. Given a natural language locomotion objective and a constrained specification grammar, GPT-5.5 and Qwen 3.6 independently propose STL templates for command tracking, safety, and gait structure. We instantiate the parameters of the generated PSTL templates using expert trajectories and retain only specifications that are consistent with demonstrated expert behavior. The resulting specifications are then transformed into smooth, finite-history reward functions and used to train a quadruped locomotion policy with Proximal Policy Optimization (PPO) in MuJoCo XLA (MJX). We evaluate both \emph{gait-aware} and \emph{gait-agnostic} settings. The former specifies walking-trot, trot, and bound regimes, while the latter allows contact patterns to emerge from the task objective. We compare against hand-engineered rewards, Text2Reward-style LLM-generated reward code, and an expert-switching oracle. Gait-aware Qwen 3.6 specifications achieved 100\% survival and command success across all tested speeds (0.3--2.1 m/s) and matched the target gait at high speeds, whereas Text2Reward achieved 0\% for both metrics at $\geq 1.9$ m/s. Videos: https://stl-locomotion.github.io/
• Abstract（参考訳）: 四足歩行ロボットは、しばしば強化学習を用いて訓練され、手作りの報酬関数に大きく依存する。 報酬関数を設計するには、かなりの手動のエンジニアリングが必要であり、どの局所的な報酬が望ましいグローバルな振る舞いを誘発するかは、しばしば不明である。 Signal Temporal Logic (STL)のような言語における形式的な仕様による報酬は、報酬をより解釈可能であるが、STL仕様自体の記述にはドメインの専門知識が必要である。 政策学習に使用されるParametric Signal Temporal Logic (PSTL) 仕様を生成することで,大規模言語モデル (LLM) がこのギャップを埋めるかどうかを検討する。 自然言語の移動目標と制約付き仕様文法が与えられたとき、GPT-5.5とQwen 3.6は独立してコマンド追跡、安全性、歩行構造のためのSTLテンプレートを提案している。 生成したPSTLテンプレートのパラメータをエキスパートトラジェクトリを用いてインスタンス化し、実証された専門家の行動と整合した仕様のみを保持する。 得られた仕様はスムーズな有限歴史報酬関数に変換され、MuJoCo XLA (MJX) でPPO (Proximal Policy Optimization) を用いて4倍運動ポリシーを訓練するために使用される。 我々は,emph{gait-aware} と \emph{gait-agnostic} の設定の両方を評価する。 前者はウォーキングトロート、トロット、バウンドレジームを指定し、後者はタスクの目的から接触パターンを発生させる。 我々は、手書きの報酬、Text2RewardスタイルのLLM生成報酬コード、エキスパートスイッチングオラクルと比較する。 歩行を意識したQwen 3.6仕様は、テストされた全ての速度(0.3--2.1 m/s)で100\%の生存率とコマンド成功を達成し、目標歩数と高速で一致したが、Text2Rewardは2つの指標の0\%を$\geq 1.9$ m/sで達成した。 ビデオ: https://stl-locomotion.github.io/

関連論文リスト

• Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications [0.0]
  本稿では,信号テンポラル論理で表現されたパラメータ化制約を用いて,異なる歩留まりを規定するフレームワークを提案する。 学習エージェントに所望の振る舞いをエンコードする、密集した継続的な報酬景観を提供する報酬形成機構を開発する。 MuJoCo XLA(MJX)におけるGoogleの四足ロボットBarkourのアプローチのインスタンス化
  論文  参考訳（メタデータ） (2026-07-01T04:57:39Z)
• LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling [63.679448814185456]
  テストタイムスケーリング(TTS)は,大規模言語モデルの性能向上に有効なアプローチとなっている。 既存のTS戦略は、主に手作りであり、研究者はパターンを設計し、直感で調整し、計算割り当ての空間の多くを探索していない。 環境駆動型フレームワークであるAutoTTSを提案し、研究者が設計したものを、個々のTSからTTS戦略を自動的に発見できる環境へと変更する。
  論文  参考訳（メタデータ） (2026-05-08T17:59:40Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs [56.47577824219207]
  本稿では,既製の大規模言語モデルを補完して,希望するトークン数を正確に生成するプロンプトベースの戦略を提案する。 プロンプトはカウントダウンマーカーと明示的なカウントルールを付加し、モデルが"カウント中に書き込む"。 MT-Bench-LI では、GPT-4.1 の厳格な長さコンプライアンスは、単純なプロンプトの30%以下から、カウントダウンプロンプトの95%以上へと飛躍する。
  論文  参考訳（メタデータ） (2025-08-19T13:12:01Z)
• TeLoGraF: Temporal Logic Planning via Graph-encoded Flow Matching [13.154661571539577]
  本稿では,時相論理グラフ符号化フローであるTeLoGraFを提案する。 我々は2次元空間における単純な力学モデルから高次元フランク・パンダ・ロボットアームまで,5つのシミュレーション環境で実験を行った。 私たちのアプローチは推論で10-100倍高速で、どんなシステムでも動かせる。
  論文  参考訳（メタデータ） (2025-05-01T14:40:07Z)
• LTLDoG: Satisfying Temporally-Extended Symbolic Constraints for Safe Diffusion-based Planning [12.839846486863308]
  本研究では,新しい静的かつ時間的に拡張された制約/命令に準拠する長い水平軌道を生成することに焦点を当てる。 本稿では、線形時間論理を用いて指定された命令を与えられた逆プロセスの推論ステップを変更する、データ駆動拡散に基づくフレームワーク、 finiteDoGを提案する。 ロボットナビゲーションと操作の実験では、障害物回避と訪問シーケンスを指定する公式を満たす軌道を生成することができる。
  論文  参考訳（メタデータ） (2024-05-07T11:54:22Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Interactive Learning from Natural Language and Demonstrations using Signal Temporal Logic [5.88797764615148]
  自然言語(NL)は曖昧で、現実世界のタスクであり、それらの安全性要件はあいまいにコミュニケーションする必要がある。 Signal Temporal Logic (STL) は、ロボットタスクを記述するための汎用的で表現力があり、曖昧な形式言語として機能する形式論理である。 DIALOGUESTLは,(しばしば)曖昧なNL記述から正確かつ簡潔なSTL公式を学習するための対話的手法である。
  論文  参考訳（メタデータ） (2022-07-01T19:08:43Z)
• Continuous Motion Planning with Temporal Logic Specifications using Deep Neural Networks [16.296473750342464]
  動作計画問題に対する制御ポリシを合成するモデルフリー強化学習法を提案する。 ロボットは、連続状態と行動空間を持つ離散マルコフ時間決定プロセス(MDP)としてモデル化される。 我々は,アクタクリティカル強化学習法を用いて,価値関数とポリシーを近似するために,ディープニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-04-02T17:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。