論文の概要: State Trace Rationale As Auxiliary Task in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.36867v1
• Date: Tue, 29 Sep 2026 07:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.25685
• Title: State Trace Rationale As Auxiliary Task in Reinforcement Learning
• Title（参考訳）: 強化学習における補助課題としてのステートトレーサリー
• Abstract要約: STRATは、深い強化学習エージェントを訓練して、自身の状態の短いテキストトレースを予測する補助タスクである。 人間の空間ナビゲーションにインスパイアされたこの説明は、ランドマーク、ルート、調査の知識を組み合わせて、エージェントの位置、在庫、目標、即時進行を追跡する。
• 参考スコア（独自算出の注目度）: 3.322413196889592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose STRAT, an auxiliary task that trains deep reinforcement learning (RL) agents to predict a short textual trace of their own state. Inspired by human spatial navigation, the description combines landmark, route, and survey knowledge, tracking the agent's position, inventory, goals, and immediate progress. Environment rules generate this text online without human labelling. Our method adds a single auxiliary head to a standard policy. Across 60 sparse-reward XLand-MiniGrid tasks, STRAT solves complex environments where standard RL fails outright, while compacting state representations and preventing rank collapse. Beyond performance gains, the predicted trace provides a readable account of agent beliefs at every step for no extra cost.
• Abstract（参考訳）: 本稿では,自己の状態の短いテキストトレースを予測するために,深層強化学習(RL)エージェントを訓練する補助的タスクSTRATを提案する。 人間の空間ナビゲーションにインスパイアされたこの説明は、ランドマーク、ルート、調査の知識を組み合わせて、エージェントの位置、在庫、目標、即時進行を追跡する。 環境ルールはこのテキストを人間のラベルなしでオンラインで生成する。 我々の手法は、標準ポリシーに1つの補助的ヘッドを追加する。 60のスパース逆XLand-MiniGridタスクでSTRATは、標準的なRLが完全に失敗する複雑な環境を解決し、状態表現をコンパクト化し、ランク崩壊を防ぐ。 パフォーマンス向上以外にも、予測されたトレースは、余分なコストなしで、すべてのステップでエージェントの信念を読み取り可能な説明を提供する。

関連論文リスト

• Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization [31.035684025590417]
  スパース報酬は、エージェントが目標に到達するまで情報信号を受け取らないため、強化学習において中心的な課題となる。 本稿では,下流タスク時間におけるスパース報酬に迅速に適応するトランスファー可能な探索ポリシーを事前訓練する手法を提案する。
  論文  参考訳（メタデータ） (2026-06-19T09:47:38Z)
• Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
  時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。 本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。 具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。 人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2026-02-10T10:16:27Z)
• Imagine Beyond! Distributionally Robust Auto-Encoding for State Space Coverage in Online Reinforcement Learning [15.884955846999246]
  GCRL(Goal-Conditioned Reinforcement Learning)は、エージェントが自律的に多様な行動を取得することを可能にする。 エージェントが探索中に表現を学ぶオンライン環境では、潜伏空間はエージェントのポリシーによって進化する。
  論文  参考訳（メタデータ） (2025-05-23T12:43:55Z)
• Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
  教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。 本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。 我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
  論文  参考訳（メタデータ） (2025-04-15T10:41:11Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Can Agents Run Relay Race with Strangers? Generalization of RL to Out-of-Distribution Trajectories [88.08381083207449]
  異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。 本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T10:12:12Z)
• A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning [61.406020873047794]
  現実世界の応用への大きなハードルは、エピソード的な環境でのアルゴリズムの開発である。 提案手法は,提案する実証実験における状態分布に一致するように後方方針を訓練する手法である。 実験の結果,MEDALは3つのスパース・リワード連続制御タスクにおいて先行手法と一致し,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2022-05-11T00:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。