論文の概要: Average-Reward Policy Identification from a Single Continuing Trajectory

• arxiv url: http://arxiv.org/abs/2610.20486v1
• Date: Wed, 14 Oct 2026 16:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.260215
• Title: Average-Reward Policy Identification from a Single Continuing Trajectory
• Title（参考訳）: 1つの連続軌道からの平均逆ポリシーの同定
• Abstract要約: 強化学習では、エージェントは未知の環境を探索し、良い意思決定をする方法を学ぶ必要がある。 ひとつの軌道から学ぶには、より多くの経験が必要だと期待するのは当然です。 そこで我々は,必要なサンプルを効率的に収集しながら,情報収集の場所を学習するアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In reinforcement learning, an agent must explore an unknown environment to learn how to make good decisions. Unlike methods that can freely sample any state--action pair, an agent learning from a single trajectory must spend additional time navigating between states. It is therefore natural to expect that learning from a single trajectory requires more experience. In this paper, we show that this additional cost is not always necessary. For average-reward reinforcement learning, we develop an algorithm that learns where to collect information while ensuring that the required samples can be obtained efficiently. We establish an upper bound on the number of interactions needed to identify a near-optimal policy. Furthermore, we prove a matching information theoretic lower bound, showing that, for a broad class of environments and at sufficiently high accuracy, learning from a single trajectory is no harder in the worst case than learning with unrestricted access to state action samples. Our results reveal that the additional complexity cost of navigation can be avoided by adapting information gathering requirements to how the environment provides information.
• Abstract（参考訳）: 強化学習では、エージェントは未知の環境を探索し、良い意思決定をする方法を学ぶ必要がある。 任意の状態-作用対を自由にサンプリングできる方法とは異なり、単一の軌道から学習するエージェントは状態間の移動に余分な時間を費やす必要がある。 したがって、1つの軌道からの学習がより多くの経験を必要とすると期待するのは当然である。 本稿では,この追加費用が必ずしも必要ではないことを示す。 平均回帰強化学習において,必要なサンプルを効率よく得ることを保証しながら,情報収集の場所を学習するアルゴリズムを開発する。 我々は、ほぼ最適ポリシーを特定するのに必要な相互作用の数に上限を定めている。 さらに,一致した情報理論の下限を証明し,広い種類の環境において,十分な精度で,単一軌道からの学習は,状態行動サンプルへの制限のないアクセスで学習するよりも,最悪の場合において難しいものではないことを示した。 この結果から,情報収集の要件を環境提供の仕方に適応させることにより,ナビゲーションの複雑さの増大を回避することができることがわかった。

関連論文リスト

• Temporal Representations for Exploration: Learning Complex Exploratory Behavior without Extrinsic Rewards [39.328230174948025]
  本研究では,時間的コントラスト表現を利用して探索をガイドする探索手法を提案する。 このような表現は, 移動, 操作, 組込みAIタスクにおいて, 複雑な探索 x の学習を可能にすることを実証する。
  論文  参考訳（メタデータ） (2026-03-02T15:55:27Z)
• The Sample Complexity of Online Strategic Decision Making with Information Asymmetry and Knowledge Transportability [93.11220429350278]
  情報非対称性はマルチエージェントシステムの普及した特徴である。 本論文は,オンライン学習における基本的課題について考察する。知識伝達を必要とする場合でも,共同設立者について学ぶために,非I.d.アクションを適用できるのか? 本稿では,情報非対称性下でのシステム力学を正確に同定し,強化学習における知識伝達の課題を効果的にナビゲートするために,サンプル効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-11T17:06:57Z)
• Training a Generally Curious Agent [77.61142660542599]
  Paprikaは、言語モデルが一般的な意思決定機能を開発することを可能にする微調整のアプローチである。 Paprika氏は、より勾配の更新をすることなく、コンテキスト内の環境フィードバックに基づいて、新しいタスクで彼らの振る舞いを探索し、適応するようにモデルに教えている。 結果は、シーケンシャルな意思決定問題を自律的に解決できるAIシステムへの有望な道のりを示唆している。
  論文  参考訳（メタデータ） (2025-02-24T18:56:58Z)
• Fast Exact Unlearning for In-Context Learning Data for LLMs [30.06631665962119]
  大規模言語モデルでは「微調整データ」を効率的に解き放つことができることを示す。 正確な文脈内学習は量子化k-meansで行うことができ、効果的に一定時間非学習操作ができることを示す。
  論文  参考訳（メタデータ） (2024-02-01T16:43:04Z)
• Mining Drifting Data Streams on a Budget: Combining Active Learning with Self-Labeling [6.436899373275926]
  本稿では,アクティブラーニングと自己ラベルによる情報を組み合わせることで,ドリフトするデータストリームを予算でマイニングする新しいフレームワークを提案する。 我々は,概念ドリフトの可能性を考慮して,インテリジェントなインスタンス選択と半教師付き手順の両方を活用できる戦略をいくつか導入する。
  論文  参考訳（メタデータ） (2021-12-21T07:19:35Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning [0.0]
  本稿では,事前訓練されたタスク非依存言語モデルによって,目標条件付きRLエージェントをより効率的にする方法について述べる。 私たちは、異なる関連するタスク間の伝達学習を容易にすることで、これを実現します。
  論文  参考訳（メタデータ） (2020-07-10T06:42:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。