論文の概要: Adaptive Agent Design

• arxiv url: http://arxiv.org/abs/2609.12486v1
• Date: Fri, 11 Sep 2026 06:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.642941
• Title: Adaptive Agent Design
• Title（参考訳）: 適応エージェント設計
• Abstract要約: 遷移カーネルを最適化するバイレベルエージェント設計問題と、それが引き起こすポリシーについて検討する。 ソフトな$Q$学習アルゴリズムはソフトなベルマン方程式の定点にほぼ確実に収束することを示す。 部分的に観察されたマルコフ決定問題において、パラメータ化された遷移カーネル設計の収束特性を解析する。
• 参考スコア（独自算出の注目度）: 3.3263205689999453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider an agent acting against a general non-Markovian environment. The agent maintains its agent states, but is free to choose a transition kernel across those states and optimize its state-feedback control policies. We study the bi-level agent design problem that optimizes the transition kernel and the policy it induces, given said kernel with offline data of observations and actions obtained via a behavioral policy. For general environments, we show that a soft $Q$-learning algorithm converges almost surely to the fixed point of a soft Bellman equation defined by the stationary averages that the behavioral policy and the chosen kernel induce, and we delineate what separates the resulting policy from an optimal one. In partially observed Markov decision problems, we analyze convergence properties of parametrized transition kernel design via zero-th order and Bayesian optimization techniques.
• Abstract（参考訳）: 我々は、一般的な非マルコフ環境に対して作用するエージェントを考える。 エージェントはエージェント状態を維持しているが、それらの状態間で遷移カーネルを選択し、状態フィードバック制御ポリシーを最適化することは自由である。 本稿では,遷移カーネルとそれが引き起こすポリシーを最適化するバイレベルエージェント設計問題について考察する。 一般的な環境では、ソフトな$Q$学習アルゴリズムは、定常平均によって定義されるソフトベルマン方程式の定点にほぼ確実に収束し、行動ポリシーと選択されたカーネルが誘導することを示す。 部分的に観測されたマルコフ決定問題において、ゼロ次数とベイズ最適化手法を用いてパラメタライズされた遷移カーネル設計の収束特性を解析する。

関連論文リスト

• Policy-Conditioned Policies for Multi-Agent Task Solving [53.67744322553693]
  本研究では,ポリシーを人間の解釈可能なソースコードとして表現することでギャップを埋めるパラダイムシフトを提案する。 本研究では,Large Language Models (LLM) を近似インタプリタとして利用することにより,学習問題を再構築する。 我々はこのプロセスを,ポリシーコードをテキスト勾配で最適化するアルゴリズムである TextitProgrammatic Iterated Best Response (PIBR) として定式化する。
  論文  参考訳（メタデータ） (2025-12-24T07:42:10Z)
• Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes [12.666842349236788]
  本稿では,ロバストなマルコフ決定過程に対するミラー降下ポリシーの最適化について述べる。 政策勾配法を用いて、ラグランジアン上のポリシー(最大値)と遷移カーネル(最小値)の両方を最適化する。 実験は、制約付きおよび制約なし最適化におけるミラー降下ポリシー最適化の利点を確認する。
  論文  参考訳（メタデータ） (2025-06-29T09:55:52Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Policy Gradient Algorithms Implicitly Optimize by Continuation [7.351769270728942]
  我々は、政策段階的なアルゴリズムの探索は、目の前にある政策の回帰の継続であり、その回帰を最大化するよりも、政策は歴史に依存しているべきだと論じる。
  論文  参考訳（メタデータ） (2023-05-11T14:50:20Z)
• Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning [139.53668999720605]
  本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。 マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T16:20:03Z)
• Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
  我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。 摂動法による政策依存推定のための非バイアス推定器を構築する。 因果介入を最適化するための一般的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-25T20:25:37Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• Understanding the Effect of Stochasticity in Policy Optimization [86.7574122154668]
  最適化手法の優位性は、正確な勾配が用いられるかどうかに大きく依存することを示す。 次に,政策最適化におけるコミット率の概念を紹介する。 第三に、外部のオラクル情報がない場合には、収束を加速するために幾何を利用することと、最適性をほぼ確実に達成することとの間に本質的にトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-29T06:35:44Z)
• Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
  非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究 線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
  論文  参考訳（メタデータ） (2021-10-18T02:33:20Z)
• Distributionally-Constrained Policy Optimization via Unbalanced Optimal Transport [15.294456568539148]
  入居対策の空間における不均衡な最適輸送として政策最適化を策定します。 Bregman発散に基づく汎用RL目標を提案し,Dykstraのアルゴリズムを用いて最適化する。
  論文  参考訳（メタデータ） (2021-02-15T23:04:37Z)
• Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning [0.0]
  各段階における制御がいくつかの異なる決定から構成される無限水平動的プログラミング問題を考える。 以前の研究では、ポリシーの反復アルゴリズムを導入しました。
  論文  参考訳（メタデータ） (2020-05-04T16:34:24Z)
• Linear-Quadratic Mean-Field Reinforcement Learning: Convergence of Policy Gradient Methods [2.330509865741341]
  本研究では,マルコフ決定過程の設定における強化学習について検討する。 近似解は、他のエージェントの状態と行動の統計的分布と相互作用するジェネリックエージェントの最適ポリシーを学習することによって得られる。
  論文  参考訳（メタデータ） (2019-10-09T23:19:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。