論文の概要: Task-Induced Representational Invariances Depend on Learning Objective in Deep RL

• arxiv url: http://arxiv.org/abs/2606.01868v1
• Date: Mon, 01 Jun 2026 08:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.60765
• Title: Task-Induced Representational Invariances Depend on Learning Objective in Deep RL
• Title（参考訳）: 深部RLにおける学習目的に依存したタスク誘発表現不変性
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、長年、神経科学における目標指向の動物行動のモデルとして機能してきた。 MDP還元理論のレンズによる深部RL表現の解析を行った。 我々の研究は、学習した表現をRLアルゴリズムで比較するための原則的なアプローチを提供し、実践的な意味と脳内のニューラルコーディングに関する洞察を実証した。
• 参考スコア（独自算出の注目度）: 7.985354141014646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) has long served as a model for goal-directed animal behavior in neuroscience. Modern deep RL has shown remarkable success across many domains, further strengthening this connection. The ability to learn abstract representations of high-dimensional state spaces underlies much of this success. However, theoretical understanding of these learned representations remains limited, hindering direct comparisons between models and animal learning. We address this gap by analyzing deep RL representations through the lens of MDP reduction theory. Investigating canonical RL algorithms in a navigation task, we find that even when performance is comparable, the value-based method (DQN) learns representations that are invariant to MDP homomorphism symmetries, while the policy-gradient method (PPO) learns representations invariant to action symmetries. These differences emerge consistently across domains, have downstream consequences for transfer learning, and appear in LLMs in a prompt-dependent manner. Our findings provide a principled approach to comparing learned representations across RL algorithms, with demonstrated practical implications and possible insights for neural coding in the brain.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、長年、神経科学における目標指向の動物行動のモデルとして機能してきた。 現代の深いRLは多くの領域で顕著な成功を収めており、この関係をさらに強化している。 高次元状態空間の抽象表現を学習する能力は、この成功の根底にある。 しかし、これらの学習された表現の理論的理解は限定的であり、モデルと動物学習の直接的な比較を妨げる。 MDP還元理論のレンズによる深部RL表現の解析により,このギャップに対処する。 ナビゲーションタスクにおける標準RLアルゴリズムを調べたところ、値ベース手法(DQN)はMDP準同型対称性に不変な表現を学習し、ポリシグラディエント手法(PPO)はアクション対称性に不変な表現を学習することがわかった。 これらの違いは、ドメイン間で一貫して現れ、転送学習の下流結果をもたらし、即時依存的にLSMに現れる。 我々の研究は、学習した表現をRLアルゴリズムで比較するための原則的なアプローチを提供し、実践的な意味と脳内のニューラルコーディングに関する洞察を実証した。

関連論文リスト

• SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs [55.96262261252617]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)に対するマルチタスク推論の強化において、根本的に異なる振る舞いを示す。 予備実験の結果,SFTは多段階訓練下でのタスクコンフリクトに悩まされ,RLは多様なタスクにまたがる安定した共存を可能にした。 マルチタスクトレーニングを分離し,効率と柔軟性を大幅に向上させるパラダイムであるParallel-RLを提案する。
  論文  参考訳（メタデータ） (2026-08-04T12:32:26Z)
• Learning Distinguishable Representations in Deep Q-Networks for Linear Transfer [0.9558392439655014]
  本稿では,状態の特徴表現間の正の相関を減少させるために,正規化項を導入する新しいQ-ラーニング手法を提案する。 転送学習性能の向上と計算オーバーヘッドの低減に本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-09-29T15:44:35Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• The RL Perceptron: Generalisation Dynamics of Policy Learning in High Dimensions [13.774600272141761]
  強化学習アルゴリズムは、様々な領域において変形的であることが証明されている。 RLの多くの理論は、離散状態空間や最悪のケース解析に焦点を当てている。 本稿では,様々な学習プロトコルを捉えることができるRLの高次元解像モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-17T18:16:51Z)
• Disentangled Representation Learning [46.51815065323667]
  Disentangled Representation Learning (DRL) は、観測可能なデータに隠された基礎的要因を表現形式で識別し、切り離すことができるモデルを学習することを目的としている。 我々は、モチベーション、定義、方法論、評価、応用、モデル設計を含む様々な側面からDRLを包括的に調査する。
  論文  参考訳（メタデータ） (2022-11-21T18:14:38Z)
• What deep reinforcement learning tells us about human motor learning and vice-versa [24.442174952832108]
  本稿では,近年の深部RL法が神経科学,エラーベース学習において支配的な運動学習の枠組みとどのように一致するかを示す。 我々は、モデルに基づく決定論的ポリシー勾配(MB-DPG)という新しいディープRLアルゴリズムを導入する。 MB-DPGは、観察された行動の結果に明示的に依存することで、エラーベースの学習からインスピレーションを得ている。
  論文  参考訳（メタデータ） (2022-08-23T11:56:49Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Contrastive Learning as Goal-Conditioned Reinforcement Learning [147.28638631734486]
  強化学習(RL)では,優れた表現が与えられると,課題の解決が容易になる。 ディープRLはこのような優れた表現を自動的に取得する必要があるが、事前の作業では、エンドツーエンドの方法での学習表現が不安定であることが多い。 比較的)表現学習法は,RLアルゴリズムとして自己にキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-15T14:34:15Z)
• Exploratory State Representation Learning [63.942632088208505]
  本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。 一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。 一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
  論文  参考訳（メタデータ） (2021-09-28T10:11:07Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)
• Graph-based State Representation for Deep Reinforcement Learning [1.5901689240516976]
  基礎となるマルコフ決定プロセス(MDP)がグラフを表現しているという事実を利用して、このトポロジ情報を有効状態表現学習に組み込むことができる。 近年のグラフ解析タスクにおけるノード表現の成功により,ノード表現学習手法が深部RLにおける基礎となるMDPのトポロジを効果的にエンコードする能力について検討した。 その結果,すべての埋め込み手法が,グリッドワールド環境の一般的な行列表現よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-04-29T05:43:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。