論文の概要: Transfer Learning in Latent Contextual Bandits with Covariate Shift Through Causal Transportability

• arxiv url: http://arxiv.org/abs/2502.20153v1
• Date: Thu, 27 Feb 2025 14:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:31.904192
• Title: Transfer Learning in Latent Contextual Bandits with Covariate Shift Through Causal Transportability
• Title（参考訳）: 因果輸送性による共変量変化を伴う潜在文脈帯域の移動学習
• Authors: Mingwei Deng, Ville Kyrki, Dominik Baumann,
• Abstract要約: ある環境から別の環境に知識を移すことは、インテリジェントシステムにとって不可欠な能力である。 本稿では,実際の文脈を隠蔽した潜在文脈の包帯における伝達学習について考察する。 この設定において、古典的バンディットアルゴリズムの知識を全てナビゲートすることで、負の転送が導かれることを示す。
• 参考スコア（独自算出の注目度）: 8.593124849405498
• License:
• Abstract: Transferring knowledge from one environment to another is an essential ability of intelligent systems. Nevertheless, when two environments are different, naively transferring all knowledge may deteriorate the performance, a phenomenon known as negative transfer. In this paper, we address this issue within the framework of multi-armed bandits from the perspective of causal inference. Specifically, we consider transfer learning in latent contextual bandits, where the actual context is hidden, but a potentially high-dimensional proxy is observable. We further consider a covariate shift in the context across environments. We show that naively transferring all knowledge for classical bandit algorithms in this setting led to negative transfer. We then leverage transportability theory from causal inference to develop algorithms that explicitly transfer effective knowledge for estimating the causal effects of interest in the target environment. Besides, we utilize variational autoencoders to approximate causal effects under the presence of a high-dimensional proxy. We test our algorithms on synthetic and semi-synthetic datasets, empirically demonstrating consistently improved learning efficiency across different proxies compared to baseline algorithms, showing the effectiveness of our causal framework in transferring knowledge.
• Abstract（参考訳）: ある環境から別の環境に知識を移すことは、インテリジェントシステムにとって不可欠な能力である。 しかしながら、2つの環境が異なる場合、すべての知識をナビゲート的に転送することで性能が低下する可能性がある。 本稿では、因果推論の観点から、マルチアームバンディットの枠組みの中でこの問題に対処する。 具体的には、実際のコンテキストが隠されているが、潜在的に高次元のプロキシが観測可能な、潜伏したコンテキストの帯域における転送学習について検討する。 環境間のコンテキストにおける共変量の変化についても検討する。 この設定において、古典的バンディットアルゴリズムの知識を全てナビゲートすることで、負の転送が導かれることを示す。 次に、因果推論から輸送可能性理論を活用し、対象環境に対する関心の因果効果を推定するための効果的な知識を明示的に伝達するアルゴリズムを開発する。 さらに、変動型オートエンコーダを用いて、高次元プロキシの存在下での因果効果を近似する。 アルゴリズムを合成および半合成データセット上でテストし、ベースラインアルゴリズムと比較して、異なるプロキシ間の学習効率を一貫して向上させ、知識の伝達における因果的枠組みの有効性を実証した。

関連論文リスト

• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• Transfer RL via the Undo Maps Formalism [29.798971172941627]
  ドメイン間で知識を伝達することは、機械学習における最も基本的な問題の1つである。 本稿では,対話型ドメイン間で知識を伝達するフレームワークTvDを提案する。 この目的が,模倣学習を想起させるポリシー更新スキームに結びつき,それを実装するための効率的なアルゴリズムを導出することを示す。
  論文  参考訳（メタデータ） (2022-11-26T03:44:28Z)
• Transfer Learning on Heterogeneous Feature Spaces for Treatment Effects Estimation [103.55894890759376]
  本稿では,不均一な特徴空間を扱うために表現学習を利用するビルディングブロックを紹介する。 本稿では,これらのビルディングブロックを用いて,標準CATE学習者の伝達学習の等価性を回復する方法を示す。
  論文  参考訳（メタデータ） (2022-10-08T16:41:02Z)
• A Data-Based Perspective on Transfer Learning [76.30206800557411]
  転送学習におけるソースデータセットの合成の役割について,より詳しく検討する。 我々のフレームワークは、転送学習の脆さをピンポインティングするなど、新しい機能を生み出します。
  論文  参考訳（メタデータ） (2022-07-12T17:58:28Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• An Imitation from Observation Approach to Transfer Learning with Dynamics Mismatch [44.898655782896306]
  本研究では,この移動問題に対する既存の解法として,観測からの模倣問題と密接に関連していることを示す。 我々は, 観測手法から, 対向的模倣に基づく新たなアルゴリズム, GARAT (Generative Adversarial reinforced action transformation) を導出する。 GARATで訓練されたエージェントは、既存のブラックボックス転送手法と比較して、ターゲット環境において高いリターンを達成する。
  論文  参考訳（メタデータ） (2020-08-04T14:36:02Z)
• Uncovering the Connections Between Adversarial Transferability and Knowledge Transferability [27.65302656389911]
  我々は,知識伝達可能性と敵対的伝達可能性の関連性を分析し,実証する。 我々の理論的研究は、対向移動可能性は知識伝達可能性を示し、その逆であることを示している。 多様なデータセットの様々なシナリオに対する広範な実験を行い、対向移動可能性と知識伝達可能性との正の相関を示す。
  論文  参考訳（メタデータ） (2020-06-25T16:04:47Z)
• Transfer Reinforcement Learning under Unobserved Contextual Information [16.895704973433382]
  本研究では,環境条件によって状態遷移と報酬が影響を受ける伝達強化学習問題について検討する。 本研究では,デモンストレータのデータを用いて,遷移関数と報酬関数の因果境界を求める手法を開発した。 バイアスのない真値関数に収束する新しいQ学習アルゴリズムとUCB-Q学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-09T22:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。