論文の概要: The Terminal Representation in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.31289v1
• Date: Fri, 29 May 2026 13:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.632603
• Title: The Terminal Representation in Reinforcement Learning
• Title（参考訳）: 強化学習における端末表現
• Abstract要約: 構造的に異なる定式化:端末表現(TR)を導入する。 TRはDRと同様の報酬軌道を符号化するが、低次元の抽象オブジェクトとして学ぶことができる。 我々は、TRがトップDR固有ベクトルに埋め込まれていることを示し、固有分解なしで同じ基礎知識をキャプチャできることを示した。
• 参考スコア（独自算出の注目度）: 3.0846824529023387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning is a powerful tool for spatio-temporal abstraction within reinforcement learning (RL). Two well established approaches are through the successor representation (SR) and the default representation (DR). The SR encodes states by the future trajectories they induce, capturing information flow decoupled from reward. The DR builds on this by weighting trajectories with reward, integrating credit-assignment structure into the representation. Eigenvectors of both representations have been used to support a range of downstream tasks -- including option discovery, reward shaping, transfer learning, and exploration. We introduce a structurally distinct formulation: the terminal representation (TR). The TR encodes reward-weighted trajectories similarly to the DR, but can be learned as a lower-dimensionality object, and can be used directly for the mentioned applications without eigenvector computations. Eigendecomposition also imposes the assumption of symmetric transition dynamics, which the TR can bypass. In this work we develop the theoretical foundations of the TR: its derivation, convergence of two learning algorithms, its use for zero-shot compositionality, and equivalences between alternative reward formulations. We further show the TR is embedded in the top DR eigenvector, allowing it to capture the same underlying knowledge without eigendecomposition. Additionally, we provide empirical evidence of the TR as a viable alternative to existing representations in subsidiary applications, while requiring less computational overhead to learn, store, and use.
• Abstract（参考訳）: 表現学習は強化学習(RL)における時空間抽象のための強力なツールである。 確立された2つのアプローチは、後継表現(SR)とデフォルト表現(DR)である。 SRは、それらが引き起こす将来の軌跡によって状態を符号化し、報酬から切り離された情報の流れをキャプチャする。 DRは、軌道を報酬で重み付け、クレジット・アサインメント構造を表現に統合することで、この上に構築される。 両方の表現の固有ベクタは、オプション発見、報酬形成、移行学習、探索など、さまざまな下流タスクをサポートするために使用されています。 構造的に異なる定式化:端末表現(TR)を導入する。 TRはDRと同様の報酬重み付き軌跡を符号化するが、低次元オブジェクトとして学習することができ、固有ベクトル計算を使わずに直接使用することができる。 固有分解はまた、TRがバイパスできる対称遷移力学の仮定を課す。 本研究では,TRの導出,2つの学習アルゴリズムの収束,ゼロショット構成性の利用,代替報酬の定式化の等価性に関する理論的基礎を開発する。 さらに、TRがトップDR固有ベクトルに埋め込まれていることを示し、固有分解なしで同じ基礎知識を捉えることができる。 さらに、我々は、TRを、学習、保存、使用の計算オーバーヘッドを少なくしながら、補助的なアプリケーションにおける既存の表現の代替として実現可能な実証的な証拠を提供する。

関連論文リスト

• REFINE: Trajectory Representation Learning via Closed-Loop Transcription -- Extended Version [22.872723951282282]
  REFINE は単純な lEarning Framework vIa の閉ループトラジェクタ rEfinement である。 提案した閉ループ最適化の保証を確立する制御理論解析を行う。 実世界の4つのデータセットの実験では、REFINEは最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-07T08:26:49Z)
• TRACE: Task-Adaptive Reasoning and Representation Learning for Universal Multimodal Retrieval [35.86480813138274]
  Universal Multimodal Retrievalは、多様なユーザ意図を解釈できる統合埋め込みモデルを必要とする。 TRACE(Task-adaptive Reasoning and Embeddings)を紹介する。 TRACEは、生成的推論を識別的表現学習と統合する。
  論文  参考訳（メタデータ） (2026-03-03T12:36:39Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• DROGO: Default Representation Objective via Graph Optimization in Reinforcement Learning [14.390952817249746]
  ニューラルネットワークを用いてデフォルト表現の主固有ベクトルを直接近似する目的を導出する。 我々は,様々な環境における目的の有効性を実証的に実証し,学習した固有ベクトルを報酬形成に適用する。
  論文  参考訳（メタデータ） (2026-01-30T23:45:45Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning [7.559920170287638]
  オフライン強化学習(RL)は、エージェントと環境の相互作用を余分に必要とせずに、静的データセットから効果的なポリシーを学ぶことを目的としている。 オフラインRLのための新たな報酬アノテーションフレームワークであるReLOADを提案する。 提案手法はランダムネットワーク蒸留(RND)に適応し,専門家による実験から本質的な報酬を生成する。
  論文  参考訳（メタデータ） (2025-07-17T06:16:06Z)
• Kolmogorov GAM Networks are all you need! [0.6906005491572398]
  Kolmogorov GAMネットワークは、トレーニングと推論のための効率的なアーキテクチャであることが示されている。 それらは、関心の関数に依存しない埋め込みを持つ加法モデルである。
  論文  参考訳（メタデータ） (2025-01-01T02:46:00Z)
• Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures [22.12114509953737]
  抽象推論は人間の知性の基礎であり、それを人工知能(AI)で複製することは、現在進行中の課題である。 本研究では,抽象的推論能力を評価する視覚的テストであるRaven's Progress matrices (RPM) を効率的に解くことに焦点を当てた。 RPMに関連するルール定式化をハードコーディングする代わりに、トレーニングデータに1回だけ通すだけでVSAルール定式化を学習することができる。
  論文  参考訳（メタデータ） (2024-01-29T10:17:18Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。