論文の概要: Ask to Learn: Query-Based Collaborative Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.27606v1
• Date: Tue, 20 Oct 2026 04:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.630655
• Title: Ask to Learn: Query-Based Collaborative Reinforcement Learning
• Title（参考訳）: Ask to Learn: クエリベースのコラボレーション強化学習
• Abstract要約: オフライン強化学習は、利用可能なデータのカバレッジによって、基本的に制限されます。 我々は,この情報を効率的に取得する方法を研究するために,クエリベースの協調強化学習を導入する。
• 参考スコア（独自算出の注目度）: 30.053568031740095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning is fundamentally limited by the coverage of the available data, while collecting additional trajectories through online exploration may be costly, unsafe, or infeasible. We study whether this limitation can be overcome without directly interacting with the underlying environment. Motivated by practical settings such as collaborator-mediated simulation, where a collaborator can provide information complementary to the offline data, we introduce query-based collaborative reinforcement learning to study how to acquire this information efficiently. The learner starts with a fixed offline dataset and adaptively queries state-time pairs; the collaborator samples an action according to a fixed, possibly suboptimal policy, and the simulator returns the corresponding reward and next state. For finite-horizon tabular problems, we derive an instance-dependent information-theoretic lower bound on the additional queries required to identify an $ε$-optimal policy and develop a local quadratic approximation. Guided by this characterization, we develop an adaptive query-allocation algorithm whose query complexity nearly matches the local benchmark under suitable conditions. Experiments on multiple synthetic and semi-synthetic environments demonstrate the empirical efficiency of the proposed method.
• Abstract（参考訳）: オフライン強化学習は、利用可能なデータのカバレッジによって基本的に制限されるが、オンライン探索を通じて追加の軌跡を収集することは、コストがかかる、安全でない、あるいは実現不可能である可能性がある。 本研究は, 環境と直接対話することなく, この制限を克服できるかどうかを考察する。 共同作業者がオフラインデータに補完的な情報を提供できるような,協調作業によるシミュレーションなどの実践的な設定により,クエリベースの協調強化学習を導入し,この情報を効率的に取得する方法を研究する。 学習者は、固定されたオフラインデータセットから始まり、ステートタイムペアを適応的にクエリする。コラボレータは、固定された、おそらくは準最適ポリシーに従ってアクションをサンプリングし、シミュレータは対応する報酬と次の状態を返す。 有限水平タブラ問題に対して、$ε$-最適ポリシーを識別し局所二次近似を開発するために必要な追加クエリに対して、インスタンス依存の情報理論の下界を導出する。 この特徴から,クエリの複雑さが適切な条件下でのローカルベンチマークとほぼ一致した適応型クエリ割り当てアルゴリズムを開発した。 複数の合成および半合成環境における実験により,提案手法の実証的効率が示された。

関連論文リスト

• Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
  人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。 高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T03:56:45Z)
• Learning Optimal and Sample-Efficient Decision Policies with Guarantees [3.096615629099617]
  この論文は、隠れた共同創設者の存在下で、オフラインデータセットから学ぶことの問題を解決する。 コンバージェンスと最適性を保証する条件付きモーメント制約問題の解法として,サンプル効率のアルゴリズムを導出する。 また,収束率保証を伴う効果的な模倣者ポリシーを学習するアルゴリズムも開発している。
  論文  参考訳（メタデータ） (2026-02-20T04:24:49Z)
• Query-based Knowledge Transfer for Heterogeneous Learning Environments [50.45210784447839]
  クエリベースの知識伝達(QKT)という新しいフレームワークを提案する。 QKTは、データ交換なしで特定のクライアントのニーズを満たすための、適切な知識獲得を可能にする。 実験の結果,QKTは既存の協調学習方法よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-12T13:09:39Z)
• Optimizing Job Allocation using Reinforcement Learning with Graph Neural Networks [0.0]
  複雑なスケジューリング問題における効率的なジョブ割り当ては、現実世界のアプリケーションにおいて大きな課題をもたらす。 ジョブ割り当て問題(JAP)に取り組むために、強化学習(RL)とグラフニューラルネットワーク(GNN)の力を利用する新しいアプローチを提案する。 本手法は, グラフ構造化データを利用して, 環境との試行錯誤による適応ポリシーの学習を可能にする。
  論文  参考訳（メタデータ） (2025-01-31T11:50:04Z)
• Coordination Failure in Cooperative Offline MARL [3.623224034411137]
  オフラインデータを用いた多エージェント政策勾配における協調的障害と協調行動の役割について検討する。 解析ツールとして2プレイヤーゲームを用いることで、BRUDアルゴリズムの単純な失敗モードを実演する。 本稿では,共同動作の類似性に基づくデータセットからのサンプルの優先順位付けにより,そのような障害を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T14:51:29Z)
• Preference Elicitation for Offline Reinforcement Learning [59.136381500967744]
  オフラインの嗜好に基づく強化学習アルゴリズムであるSim-OPRLを提案する。 本アルゴリズムは,配当外データに対する悲観的アプローチと,最適方針に関する情報的嗜好を得るための楽観的アプローチを用いる。
  論文  参考訳（メタデータ） (2024-06-26T15:59:13Z)
• On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning [69.48387059607387]
  模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。 我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。 我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
  論文  参考訳（メタデータ） (2021-10-13T07:31:31Z)
• A Field Guide to Federated Optimization [161.3779046812383]
  フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。 本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-07-14T18:09:08Z)
• Offline Learning for Planning: A Summary [0.0]
  自律的なエージェントの訓練は、しばしば、環境との高価で安全でない試行錯誤の相互作用を必要とする。 さまざまなタスクを実行するインテリジェントエージェントの記録された経験を含むデータセットは、インターネット上でアクセス可能である。 本稿では,最先端のオフライン学習ベースラインの開発を動機とするアイデアを要約する。
  論文  参考訳（メタデータ） (2020-10-05T11:41:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。