論文の概要: Limits of Model Selection under Transfer Learning
- arxiv url: http://arxiv.org/abs/2305.00152v2
- Date: Tue, 27 Jun 2023 00:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 17:07:28.640384
- Title: Limits of Model Selection under Transfer Learning
- Title（参考訳）: 転校学習におけるモデル選択の限界
- Authors: Steve Hanneke, Samory Kpotufe, Yasaman Mahdaviyeh
- Abstract要約: 提案手法は,仮説クラスの選択によって異なることが知られているソース分布とターゲット分布の移動距離について検討する。
適応率、すなわち分布情報を持たないものは、オラクルレートよりも任意に遅くなる。
- 参考スコア（独自算出の注目度）: 16.629661223706336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Theoretical studies on transfer learning or domain adaptation have so far
focused on situations with a known hypothesis class or model; however in
practice, some amount of model selection is usually involved, often appearing
under the umbrella term of hyperparameter-tuning: for example, one may think of
the problem of tuning for the right neural network architecture towards a
target task, while leveraging data from a related source task.
Now, in addition to the usual tradeoffs on approximation vs estimation errors
involved in model selection, this problem brings in a new complexity term,
namely, the transfer distance between source and target distributions, which is
known to vary with the choice of hypothesis class.
We present a first study of this problem, focusing on classification; in
particular, the analysis reveals some remarkable phenomena: adaptive rates,
i.e., those achievable with no distributional information, can be arbitrarily
slower than oracle rates, i.e., when given knowledge on distances.
- Abstract（参考訳）: 転送学習やドメイン適応に関する理論的研究はこれまで、既知の仮説クラスやモデルでの状況に焦点を当ててきたが、実際には、いくつかのモデル選択は、通常、ハイパーパラメータチューニング(hyperparameter-tuning)という包括的用語の下に現れる。
現在、モデル選択に関わる近似と推定誤差の通常のトレードオフに加えて、この問題は新たな複雑性項、すなわち、ソースとターゲットの分布間の移動距離が仮説クラスの選択によって異なることが知られている。
特に、分析によって注目すべき現象が明らかになる: 適応率、すなわち、分布情報を持たないもの、すなわち、距離に関する知識が与えられたとき、oracleの速度よりも任意に遅い可能性がある。
関連論文リスト
- Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems [39.58317527488534]
データ駆動型人口レベルの分布は、逆問題における単純なパラメトリック先行よりも魅力的な選択肢として現れている。
これらのモデルをトレーニングするために、基礎となるデータ生成プロセスから独立した、同一に分散されたサンプルを取得することは困難である。
本研究は, 事前分布の不特定から, 更新された分布が, 人口レベルの分布に徐々に近づきつつあることを示す。
論文 参考訳（メタデータ） (2024-07-24T22:39:27Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - Demystifying Disagreement-on-the-Line in High Dimensions [34.103373453782744]
我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。
CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
論文 参考訳（メタデータ） (2023-01-31T02:31:18Z) - PatchMix Augmentation to Identify Causal Features in Few-shot Learning [55.64873998196191]
少ないショット学習は、十分なカテゴリをラベル付けしたデータに基づいて学習した知識を、少ない既知の情報を持つ新しいカテゴリに転送することを目的としている。
我々はPatchMixと呼ばれる新しいデータ拡張戦略を提案し、この急激な依存関係を壊すことができる。
このような拡張メカニズムが,既存のメカニズムと異なり,因果的特徴を識別可能であることを示す。
論文 参考訳（メタデータ） (2022-11-29T08:41:29Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - An Information-theoretic Approach to Distribution Shifts [9.475039534437332]
機械学習モデルを現実世界に安全にデプロイすることは、しばしば難しいプロセスである。
特定の地理的位置から得られたデータで訓練されたモデルは、他の場所で得られたデータでクエリされたときに失敗する傾向がある。
集団のサブセットに適合するニューラルネットワークは 選択バイアスを 与えるかもしれない
論文 参考訳（メタデータ） (2021-06-07T16:44:21Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Moment-Based Domain Adaptation: Learning Bounds and Algorithms [1.827510863075184]
この論文は、機械学習の新興分野としてのドメイン適応の数学的基礎に寄与する。
古典的な統計的学習とは対照的に、ドメイン適応の枠組みは、トレーニングにおける確率分布と応用設定の偏差を考慮に入れている。
論文 参考訳（メタデータ） (2020-04-22T14:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。