論文の概要: Policy Complexity, Reaction Time, and Bounded Rationality in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.28737v1
• Date: Wed, 23 Sep 2026 19:28:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.530948
• Title: Policy Complexity, Reaction Time, and Bounded Rationality in Reinforcement Learning
• Title（参考訳）: 強化学習における政策複雑度, 反応時間, 境界性
• Abstract要約: 我々は、学習された余分な行動を通じて相互情報正規化を組み込んだ、政治上の時間差分アルゴリズムを開発した。 これにより、期待されるリターン利益が追加の情報コストを正当化するときに状態情報を使用するシーケンシャルな学習モデルが得られる。 これらの結果は,MI-SARSAを認知制約下での有界逐次学習のモデルとして位置づけた。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological agents do not learn under conditions of unlimited computation. For humans, learning and choice are shaped by constraints on perception, attention, and working memory, which limit how much state information guides behavior and therefore bound policy complexity. Standard reinforcement learning models typically optimize reward without explicitly representing these internal costs, making them less suitable as models of biological intelligence. We derive MI-SARSA, an on-policy temporal-difference algorithm that incorporates mutual-information regularization through a learned marginal action prior and a penalty on state-specific deviations from that prior. This yields a sequential learning model in which state information is used selectively when its expected return benefit justifies the added informational cost. Critically, the same state-specific information cost that governs policy compression also generates trial-level predictions for reaction time, distinguishing MI-SARSA from most reinforcement learning models, which predict choices or returns but not latency. Empirically, MI-SARSA produces a reward-complexity tradeoff, and stronger information penalties produce simpler policies with lower control costs and faster reaction times. Under environment shift, increasing regularization reduces post-switch performance degradation but also lowers asymptotic return, revealing a robustness-capacity tradeoff. Together, these results position MI-SARSA as a model of bounded sequential learning under cognitive constraints.
• Abstract（参考訳）: 生物学的エージェントは無制限の計算条件下では学習しない。 人間にとって、学習と選択は、認識、注意、作業記憶の制約によって形成され、状態情報によって行動がガイドされ、従ってポリシーの複雑さが制限される。 標準的な強化学習モデルは、通常、これらの内部コストを明示的に表すことなく報酬を最適化し、生物学的知能のモデルとしてはあまり適さない。 MI-SARSAは、学習された限界行動による相互情報正規化と、それ以前の州固有の逸脱に対するペナルティを組み込んだ、政治上の時間差分アルゴリズムである。 これにより、期待されるリターン利益が付加情報コストを正当化した場合に、状態情報が選択的に使用されるシーケンシャルな学習モデルが得られる。 重要なことは、ポリシー圧縮を管理する同じ国家固有の情報コストが、反応時間の試行レベルの予測を発生させ、MI-SARSAをほとんどの強化学習モデルと区別する。 経験的に、MI-SARSAは報酬複雑なトレードオフを発生し、より強力な情報ペナルティは、より単純なポリシーを、より低コストで、より高速な反応時間で生成する。 環境シフトの下では、レギュラー化の増加は、スウィッチ後のパフォーマンス劣化を減少させるが、漸近的なリターンを低下させ、ロバストネスとキャパシティのトレードオフを露呈する。 これらの結果は,MI-SARSAを認知制約下での有界逐次学習のモデルとして位置づけた。

関連論文リスト

• Scalable Causal Imitation Learning [48.93769483870838]
  模倣学習は、専門家のデモンストレーションを使用して、潜在報酬信号で未知の環境でポリシーを学習することを可能にする。 模擬者の観察と専門家の観察が一致せず、観測されていない共同設立者が専門家のデモンストレーションに出席するのに苦労する。 本稿では,2つの因果模倣学習アルゴリズムであるCausal Soft Q Imitation Learning (SQIL)とCausal Inverse Soft-Q Learning (IQ-Learn)を紹介する。
  論文  参考訳（メタデータ） (2026-07-18T23:33:11Z)
• Expediting Reinforcement Learning by Incorporating Knowledge About Temporal Causality in the Environment [6.914710674738284]
  強化学習アルゴリズムは、報酬フィードバックが不十分で、環境内の複雑なイベントのシーケンスに依存するタスクに対して最適なポリシーを学ぶのに苦労する。 本稿では,時間論理に基づく因果関係図を報酬形式に組み込む手法を提案する。
  論文  参考訳（メタデータ） (2025-10-17T09:11:26Z)
• Efficient Reinforcement Learning with Impaired Observability: Learning to Act with Delayed and Missing State Observations [92.25604137490168]
  本稿では,制御系における効率的な強化学習に関する理論的研究を紹介する。 遅延および欠落した観測条件において,RL に対して $tildemathcalO(sqrtrm poly(H) SAK)$ という形でアルゴリズムを提示し,その上限と下限をほぼ最適に設定する。
  論文  参考訳（メタデータ） (2023-06-02T02:46:39Z)
• Worst-Case Control and Learning Using Partial Observations Over an Infinite Time-Horizon [2.456909016197174]
  安全クリティカルなサイバー物理システムは、敵の混乱に対する堅牢な制御戦略と不確実性をモデル化する必要がある。 有限時間地平線上での最悪の割引コストを最小限に抑えるため,部分観測システムにおける近似制御と学習の枠組みを提案する。
  論文  参考訳（メタデータ） (2023-03-28T21:40:06Z)
• Learning Symbolic Representations for Reinforcement Learning of Non-Markovian Behavior [23.20013012953065]
  我々は、状態-作用履歴の学習自動化を支援する有用な状態抽象化を自動的に発見する方法を示す。 その結果、最先端のRLよりもはるかに少ない環境サンプルで最適なポリシーを学習できるエンドツーエンドのアルゴリズムが得られた。
  論文  参考訳（メタデータ） (2023-01-08T00:47:19Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
  報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。 本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。 プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
  論文  参考訳（メタデータ） (2020-12-30T03:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。