論文の概要: Memory-State Critic for Asymmetric Actor-Critic with Application to Vision-Based Pursuit-Evasion

• arxiv url: http://arxiv.org/abs/2610.03830v1
• Date: Fri, 02 Oct 2026 11:58:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:57:44.001754
• Title: Memory-State Critic for Asymmetric Actor-Critic with Application to Vision-Based Pursuit-Evasion
• Title（参考訳）: 非対称アクター臨界のメモリ状態批判と視覚に基づく探索への応用
• Abstract要約: マルコフ決定過程において、最適政策は観察の歴史と過去の行動に依存する。 非対称アクター批判法は、環境の真の状態などの追加情報が得られると、そのようなポリシーを学ぶのが一般的になる。 我々は、批判者が国家と政策自身の記憶、すなわち政策が行動を選択する歴史の内部表現を条件付けることは、すでに十分に定義されていることを示す。
• 参考スコア（独自算出の注目度）: 35.73991964283666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In partially observable Markov decision processes, the optimal policy generally depends on the history of observations and past actions. Asymmetric actor-critic methods have become popular to learn such policies when additional information, such as the true state of the environment, is available during training. The critic, which is not needed at execution, is given access to the state. A critic conditioned on the state alone is generally ill-defined and yields biased policy gradients. Conditioning on the state and the history, the history-state critic restores both. In this paper, we show that conditioning the critic on the state and the policy's own memory, i.e., the internal representation of the history through which the policy selects its actions, is already well-defined and gives unbiased policy gradients, removing the need for a second recurrent approximator of the history. We call it the memory state critic. It follows that a critic based on the policy's memory need not backpropagate its loss into that memory, even though the memory is a lossy encoding of the history. We evaluate the memory-state critic in a vision-based pursuit-evasion environment between two quadrotors across two arena types. The pursuer is the learning agent, and the evader is sampled per episode from a fixed pool of heuristic behaviours. The results show that the memory-state critic outperforms the history-state critic and converges faster. In addition to being unbiased compared to the state-only critic, it maintains a slight edge in the wall arena, where the actor's history carries information that the privileged state alone does not.
• Abstract（参考訳）: 部分的に観察可能なマルコフ決定過程において、最適政策は一般的に観察の歴史と過去の行動に依存する。 非対称アクター批判的手法は、トレーニング中に環境の真の状態などの追加情報が利用可能になると、そのようなポリシーを学ぶのが一般的になる。 実行時に不要な批評家は、州へのアクセスを与えられる。 州だけで条件付けられた批評家は、一般的に不定義であり、偏りのある政策勾配をもたらす。 州と歴史を条件に、歴史を批判する者は両方を修復する。 本稿では,政策が行動を選択する歴史の内的表現である,国家及び政策自身の記憶に対する批判の条件付けが,すでに適切に定義されており,偏りのない政策勾配を与えており,歴史の2度目の再帰的近似の必要性を排除していることを示す。 これを記憶状態批判と呼ぶ。 たとえ記憶が歴史の失われた符号化であるとしても、ポリシーの記憶に基づく批評家は、その記憶の喪失をその記憶に逆転させる必要はない。 2つのアリーナ型にまたがる2つの四辺形間の視覚に基づく追従回避環境における記憶状態の批判を評価する。 追跡者は学習剤であり、退避者は一定のヒューリスティックな行動のプールからエピソード毎にサンプリングされる。 その結果,記憶状態の批判者は歴史状態の批判よりも優れ,より早く収束することがわかった。 州のみの批評家に比べて偏見がないのに加えて、俳優の歴史が特権国家だけではできない情報を伝える壁面の端をわずかに保っている。

関連論文リスト

• Beyond the Shadows of Plato's Cave: Evaluating False Memory in Autonomous Agents via Counterfactual Reasoning [90.354889777866]
  我々は,素早い相関関係,環境変化,知識衝突から生じるテクスタイス・メモリを定式化する。 本稿では,反実的推論に基づくエージェント信念の進化を通じて,虚偽記憶を評価する学習自由フレームワークFAMEを提案する。
  論文  参考訳（メタデータ） (2026-09-30T10:35:41Z)
• Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening [59.760642080660695]
  大規模言語モデルの強化学習において、PPO(Proximal Policy Optimization)は一般に、状態値の見積とポリシー更新のばらつきの軽減に批判を用いる。 PPO批判者には,バリューフラットニング(Value Flattening)と呼ばれる,系統的な障害モードが発見されました。 応答毎に3つの状態しか管理していないSP$3$Oは、バリューフレッテニングを緩和し、モデルのサイズや評価スイートをまたいだ学習ポリシーを一貫して改善できることを示す。
  論文  参考訳（メタデータ） (2026-09-16T14:15:24Z)
• Tether the Subject, Release the Scene: Query-Aware Memory Routing for Long-Horizon Autoregressive Video Generation [52.12619606640385]
  本稿では,フリーズビデオジェネレータ用のクエリ対応メモリルータStreamingMemを紹介する。 TetherMemは、主題とシーンのクエリを分離し、地域と年齢の条件で履歴アクセスを変調する。 完全な30秒のビデオでは、背景、視点、シーンの状態の変化を保ちながら、被写体認識性と時間的連続性を維持する。
  論文  参考訳（メタデータ） (2026-08-27T10:05:17Z)
• Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis [0.0]
  解決可能なケースでは、もっと大きな問題が他にあることが示されます。 得られたポリシー、そのコスト、および問題を除去する1つの設計選択に対して、クローズドフォーム表現を導出する。
  論文  参考訳（メタデータ） (2026-08-07T13:42:43Z)
• Refined Analysis of Entropy-Regularized Actor-Critic [26.419221337454008]
  エントロピー・レギュラー化・有限割引環境における批評家の役割について検討する。 これはまず批評家に学び、各アクターのアップデート後に最新の状態に保つことを示唆している。
  論文  参考訳（メタデータ） (2026-05-23T02:41:07Z)
• STALE: Can LLM Agents Know When Their Memories Are No Longer Valid? [5.361950931863979]
  大規模言語モデル(LLM)エージェントは、コヒーレントで長期的なパーソナライズされたメモリを維持することがますます期待されている。 現在のベンチマークは、主に静的な事実検索を計測し、新しい証拠が現れたときに保存された信念を更新する能力を見下ろしている。 専門家が検証した400の競合シナリオのベンチマークであるSTALEを紹介します。 CUPMemは,構造化状態統合と伝搬認識探索による書き込み時間リビジョンを強化するプロトタイプである。
  論文  参考訳（メタデータ） (2026-05-07T16:31:15Z)
• FILT3R: Latent State Adaptive Kalman Filter for Streaming 3D Reconstruction [51.56484100374058]
  ストリーミング3D再構築は、受信フレームからオンラインで更新される永続的な潜伏状態を維持する。 FILT3Rは、トークン空間における状態推定として、リカレントな状態更新をキャストする。 コードはhttps://github.com/jinotter3/FILT3Rでリリースされる。
  論文  参考訳（メタデータ） (2026-03-19T04:56:36Z)
• A New Bandit Setting Balancing Information from State Evolution and Corrupted Context [52.67844649650687]
  本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。 任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。 本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-16T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。