論文の概要: The Fundamental Dilemma of Bayesian Active Meta-learning

• arxiv url: http://arxiv.org/abs/2310.14968v1
• Date: Mon, 23 Oct 2023 14:13:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:36:24.277900
• Title: The Fundamental Dilemma of Bayesian Active Meta-learning
• Title（参考訳）: ベイジアン・アクティブ・メタラーニングの基礎的ジレンマ
• Authors: Sabina J. Sloman, Ayush Bharti and Samuel Kaski
• Abstract要約: 目的の欲求的追求が実際に伝達可能なパラメータの推定を損なう可能性があることを示す。 我々は、いくつかのタスクが必然的に大きな負の移動の脅威をもたらすことを理論的に示している。 本結果は,ニュアンスパラメータに対する事前の誤特定の分析に一般化する。
• 参考スコア（独自算出の注目度）: 22.085266046786078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many applications involve estimation of parameters that generalize across multiple diverse, but related, data-scarce task environments. Bayesian active meta-learning, a form of sequential optimal experimental design, provides a framework for solving such problems. The active meta-learner's goal is to gain transferable knowledge (estimate the transferable parameters) in the presence of idiosyncratic characteristics of the current task (task-specific parameters). We show that in such a setting, greedy pursuit of this goal can actually hurt estimation of the transferable parameters (induce so-called negative transfer). The learner faces a dilemma akin to but distinct from the exploration--exploitation dilemma: should they spend their acquisition budget pursuing transferable knowledge, or identifying the current task-specific parameters? We show theoretically that some tasks pose an inevitable and arbitrarily large threat of negative transfer, and that task identification is critical to reducing this threat. Our results generalize to analysis of prior misspecification over nuisance parameters. Finally, we empirically illustrate circumstances that lead to negative transfer.
• Abstract（参考訳）: 多くのアプリケーションは、多種多様な、しかし関連するデータ共有タスク環境にまたがるパラメータを推定する。 逐次最適実験設計の形式であるベイズアクティブメタラーニングは、そのような問題を解決するためのフレームワークを提供する。 アクティブメタラーナーの目標は、現在のタスク(タスク固有のパラメータ)の慣用的特性の存在下で、伝達可能な知識(転送可能なパラメータの推定)を得ることである。 このような状況下では、この目標の欲望の追求は、実際に伝達可能なパラメータの推定を損なう可能性がある(いわゆる負の転送)。 彼らは移行可能な知識を追求する獲得予算を費やすべきか、それとも現在のタスク固有のパラメータを特定するべきか? 理論的には、いくつかのタスクは必然的に大きな負の移動の脅威となり、タスクの識別はこの脅威を減らすために重要であることを示す。 本結果は,ニュアンスパラメータに対する事前の誤特定の分析に一般化する。 最後に、負の移動につながる状況を実証的に説明する。

関連論文リスト

• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models [132.90062129639705]
  本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。 感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。 対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
  論文  参考訳（メタデータ） (2022-02-06T00:22:28Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Multiply Robust Causal Mediation Analysis with Continuous Treatments [12.196869756333797]
  Tchetgen Tchetgen と Shpitser の影響関数に基づく推定器 (2012) に触発された継続的治療の設定に適した推定器を提案する。 提案手法はクロスフィッティングを用いて,ニュアンス関数の滑らかさ要件を緩和し,対象パラメータよりも遅い速度で推定できるようにする。
  論文  参考訳（メタデータ） (2021-05-19T16:58:57Z)
• Causal Inference Under Unmeasured Confounding With Negative Controls: A Minimax Learning Approach [84.29777236590674]
  すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。 最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
  論文  参考訳（メタデータ） (2021-03-25T17:59:19Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks [30.075430694663293]
  本稿では,2つの線形回帰問題間の伝達学習過程について検討する。 本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
  論文  参考訳（メタデータ） (2020-06-12T08:42:14Z)
• Selective machine learning of doubly robust functionals [6.880360838661036]
  半パラメトリックモデル上で定義された有限次元関数に関する推論を行うための選択的機械学習フレームワークを提案する。 疑似リスクの新たな定義に基づき、興味の機能を推定する際のバイアス低減を目的とした新しい選択基準を導入する。
  論文  参考訳（メタデータ） (2019-11-05T19:00:03Z)
• Orthogonal Statistical Learning [49.55515683387805]
  人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。 人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
  論文  参考訳（メタデータ） (2019-01-25T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。