論文の概要: Bayesian Active Learning in the Presence of Nuisance Parameters

• arxiv url: http://arxiv.org/abs/2310.14968v3
• Date: Mon, 10 Jun 2024 15:02:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 04:47:59.501462
• Title: Bayesian Active Learning in the Presence of Nuisance Parameters
• Title（参考訳）: ニュアンスパラメータの存在下でのベイズ能動的学習
• Authors: Sabina J. Sloman, Ayush Bharti, Julien Martinelli, Samuel Kaski,
• Abstract要約: 本研究では,ニュアンスパラメータの導入により,ベイズ学習者の対象パラメータの推定値に偏りが生じることを示す。 負の干渉の程度は極端に大きいことを示し、ニュアンスパラメータの正確な推定がそれを減らすために重要であることを示す。 その結果,学習環境間の負の伝達現象が明らかになった。
• 参考スコア（独自算出の注目度）: 18.26920982161823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many settings, such as scientific inference, optimization, and transfer learning, the learner has a well-defined objective, which can be treated as estimation of a target parameter, and no intrinsic interest in characterizing the entire data-generating process. Usually, the learner must also contend with additional sources of uncertainty or variables -- with nuisance parameters. Bayesian active learning, or sequential optimal experimental design, can straightforwardly accommodate the presence of nuisance parameters, and so is a natural active learning framework for such problems. However, the introduction of nuisance parameters can lead to bias in the Bayesian learner's estimate of the target parameters, a phenomenon we refer to as negative interference. We characterize the threat of negative interference and how it fundamentally changes the nature of the Bayesian active learner's task. We show that the extent of negative interference can be extremely large, and that accurate estimation of the nuisance parameters is critical to reducing it. The Bayesian active learner is confronted with a dilemma: whether to spend a finite acquisition budget in pursuit of estimation of the target or of the nuisance parameters. Our setting encompasses Bayesian transfer learning as a special case, and our results shed light on the phenomenon of negative transfer between learning environments.
• Abstract（参考訳）: 科学的推論,最適化,伝達学習など,多くの設定において,学習者は目標パラメータの推定として扱うことができ,データ生成プロセス全体を特徴付けることに本質的な関心を持たない,明確に定義された目的を持っている。 通常、学習者は不確実性や変数の新たな情報源と、ニュアンスパラメータを競合しなければならない。 ベイズ的アクティブラーニング(Bayesian active learning, 逐次的最適実験設計)は、ニュアンスパラメータの存在に容易に適応でき、そのような問題に対する自然なアクティブラーニングフレームワークである。 しかし、ニュアンスパラメータの導入は、ベイズ学習者の目標パラメータの推定に偏りをもたらす可能性がある。 我々は、負の干渉の脅威と、ベイズアクティブ学習者のタスクの性質を根本的に変える方法について特徴づける。 負の干渉の程度は極端に大きいことを示し、ニュアンスパラメータの正確な推定がそれを減らすために重要であることを示す。 ベイズ活発な学習者はジレンマに直面しており、ターゲットの推定に有限の取得予算を費やすか、あるいはニュアンスパラメータを追求するかである。 本研究はベイズ移動学習を特例とし,学習環境間の負の伝達現象を考察した。

関連論文リスト

• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models [132.90062129639705]
  本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。 感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。 対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
  論文  参考訳（メタデータ） (2022-02-06T00:22:28Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Multiply Robust Causal Mediation Analysis with Continuous Treatments [13.324203991645629]
  Tchetgen Tchetgen と Shpitser の影響関数に基づく推定器 (2012) に触発された継続的治療の設定に適した推定器を提案する。 提案手法はクロスフィッティングを用いて,ニュアンス関数の滑らかさ要件を緩和し,対象パラメータよりも遅い速度で推定できるようにする。
  論文  参考訳（メタデータ） (2021-05-19T16:58:57Z)
• Causal Inference Under Unmeasured Confounding With Negative Controls: A Minimax Learning Approach [84.29777236590674]
  すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。 最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
  論文  参考訳（メタデータ） (2021-03-25T17:59:19Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks [30.075430694663293]
  本稿では,2つの線形回帰問題間の伝達学習過程について検討する。 本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
  論文  参考訳（メタデータ） (2020-06-12T08:42:14Z)
• Selective machine learning of doubly robust functionals [6.880360838661036]
  半パラメトリックモデル上で定義された有限次元関数に関する推論を行うための選択的機械学習フレームワークを提案する。 疑似リスクの新たな定義に基づき、興味の機能を推定する際のバイアス低減を目的とした新しい選択基準を導入する。
  論文  参考訳（メタデータ） (2019-11-05T19:00:03Z)
• Orthogonal Statistical Learning [49.55515683387805]
  人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。 人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
  論文  参考訳（メタデータ） (2019-01-25T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。