論文の概要: Inverse Contextual Bandits without Rewards: Learning from a Non-Stationary Learner via Suffix Imitation

• arxiv url: http://arxiv.org/abs/2603.03778v1
• Date: Wed, 04 Mar 2026 06:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.206336
• Title: Inverse Contextual Bandits without Rewards: Learning from a Non-Stationary Learner via Suffix Imitation
• Title（参考訳）: リワードのない逆文脈帯域:接尾辞模倣による非定常学習者からの学習
• Authors: Yuqi Kong, Xiao Zhang, Weiran Shen,
• Abstract要約: Inverse Contextual Bandit (ICB) 問題について検討し、学習者がポリシーの最適化を試み、観察者が根底にある問題パラメータの回復を目指す。 学習過程の間、学習者の行動は自然に探索から搾取へと移行する。 この問題に対処するために,2相サフィックスと呼ばれるシンプルで効果的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.897510324428138
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study the Inverse Contextual Bandit (ICB) problem, in which a learner seeks to optimize a policy while an observer, who cannot access the learner's rewards and only observes actions, aims to recover the underlying problem parameters. During the learning process, the learner's behavior naturally transitions from exploration to exploitation, resulting in non-stationary action data that poses significant challenges for the observer. To address this issue, we propose a simple and effective framework called Two-Phase Suffix Imitation. The framework discards data from an initial burn-in phase and performs empirical risk minimization using only data from a subsequent imitation phase. We derive a predictive decision loss bound that explicitly characterizes the bias-variance trade-off induced by the choice of burn-in length. Despite the severe information deficit, we show that a reward-free observer can achieve a convergence rate of $\tilde O(1/\sqrt{N})$, matching the asymptotic efficiency of a fully reward-aware learner. This result demonstrates that a passive observer can effectively uncover the optimal policy from actions alone, attaining performance comparable to that of the learner itself.
• Abstract（参考訳）: Inverse Contextual Bandit (ICB) 問題について検討し、学習者が学習者の報酬にアクセスできず、行動のみを観察する観察者が根底にある問題パラメータを回復することを目的としている。 学習過程の間、学習者の行動は自然に探索から搾取へと移行し、結果として非定常的な行動データが観察者に重大な課題をもたらす。 この問題に対処するため、我々はTwo-Phase Suffix Imitationと呼ばれるシンプルで効果的なフレームワークを提案する。 フレームワークは、初期バーンインフェーズからデータを破棄し、その後の模倣フェーズからのデータのみを使用して経験的リスク最小化を行う。 バーンイン長の選択によって引き起こされるバイアス分散トレードオフを明示的に特徴付ける予測的決定損失を導出する。 情報不足にもかかわらず、報酬のないオブザーバは、完全に報酬を意識した学習者の漸近的効率に適合して、$\tilde O(1/\sqrt{N})$の収束率を達成できることを示す。 この結果から,受動的オブザーバは行動のみから最適なポリシーを効果的に発見でき,学習者自身に匹敵する性能が得られることが示された。

関連論文リスト

• Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
  結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。 適切なアクションにクレジットを割り当てるには? 本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
  論文  参考訳（メタデータ） (2025-05-26T17:44:08Z)
• Transductive Reward Inference on Graph [53.003245457089406]
  本稿では,グラフ上の情報伝達の文脈特性に基づく報酬推定手法を提案する。 利用可能なデータと限定的な報酬アノテーションの両方を活用して、報酬伝達グラフを構築します。 構築したグラフをトランスダクティブな報酬推定に使用し,非競合データに対する報酬を推定する。
  論文  参考訳（メタデータ） (2024-02-06T03:31:28Z)
• A Unified Framework of Policy Learning for Contextual Bandit with Confounding Bias and Missing Observations [108.89353070722497]
  本研究では,観測データを用いた最適ポリシの獲得を目的とした,オフラインのコンテキスト的帯域幅問題について検討する。 本稿では、積分方程式系の解として報酬関数を形成するCausal-Adjusted Pessimistic(CAP)ポリシー学習という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-20T15:17:31Z)
• CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning [26.05184273238923]
  この研究は、オフライン逆強化学習(IRL)における大きな課題に取り組むことを目的としている。 我々は「保守主義」を学習報酬関数に統合することでオフラインIRLを効率的に解くアルゴリズム(CLARE)を考案した。 我々の理論的分析は、学習した方針と専門家の政策の間のリターンギャップに上限を与える。
  論文  参考訳（メタデータ） (2023-02-09T17:16:29Z)
• Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement Learning [44.50394347326546]
  多段階リターンからのオフ政治学習は、サンプル効率の強化学習に不可欠である。 オフ政治バイアスは、決定ごとに修正されるが、トレースが完全にカットされると、その効果は逆転できない。 本稿では,多段階演算子を提案する。
  論文  参考訳（メタデータ） (2023-01-26T18:57:41Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Learning from an Exploring Demonstrator: Optimal Reward Estimation for Bandits [36.37578212532926]
  マルチアームバンディットインスタンスの報酬を推定する"逆バンディット"問題を導入する。 逆強化学習の関連問題に対する既存のアプローチは、最適なポリシーの実行を前提としている。 提案手法は,高信頼度アルゴリズムのクラス内でのデモンストレーションのための簡易かつ効率的な報酬推定手法を開発する。
  論文  参考訳（メタデータ） (2021-06-28T17:37:49Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• Transfer Reinforcement Learning under Unobserved Contextual Information [16.895704973433382]
  本研究では,環境条件によって状態遷移と報酬が影響を受ける伝達強化学習問題について検討する。 本研究では,デモンストレータのデータを用いて,遷移関数と報酬関数の因果境界を求める手法を開発した。 バイアスのない真値関数に収束する新しいQ学習アルゴリズムとUCB-Q学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-09T22:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。