論文の概要: Limits of Model Selection under Transfer Learning
- arxiv url: http://arxiv.org/abs/2305.00152v1
- Date: Sat, 29 Apr 2023 02:27:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 16:49:52.040454
- Title: Limits of Model Selection under Transfer Learning
- Title（参考訳）: 転校学習におけるモデル選択の限界
- Authors: Steve Hanneke, Samory Kpotufe, Yasaman Mahdaviyeh
- Abstract要約: 提案手法は,仮説クラスの選択によって異なることが知られているソース分布とターゲット分布の移動距離について検討する。
適応率、すなわち分布情報を持たないものは、オラクルレートよりも任意に遅くなる。
- 参考スコア（独自算出の注目度）: 16.629661223706336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Theoretical studies on transfer learning or domain adaptation have so far
focused on situations with a known hypothesis class or model; however in
practice, some amount of model selection is usually involved, often appearing
under the umbrella term of hyperparameter-tuning: for example, one may think of
the problem of tuning for the right neural network architecture towards a
target task, while leveraging data from a related source task.
Now, in addition to the usual tradeoffs on approximation vs estimation errors
involved in model selection, this problem brings in a new complexity term,
namely, the transfer distance between source and target distributions, which is
known to vary with the choice of hypothesis class.
We present a first study of this problem, focusing on classification; in
particular, the analysis reveals some remarkable phenomena: adaptive rates,
i.e., those achievable with no distributional information, can be arbitrarily
slower than oracle rates, i.e., when given knowledge on distances.
- Abstract（参考訳）: 転送学習やドメイン適応に関する理論的研究はこれまで、既知の仮説クラスやモデルでの状況に焦点を当ててきたが、実際には、いくつかのモデル選択は、通常、ハイパーパラメータチューニング(hyperparameter-tuning)という包括的用語の下に現れる。
現在、モデル選択に関わる近似と推定誤差の通常のトレードオフに加えて、この問題は新たな複雑性項、すなわち、ソースとターゲットの分布間の移動距離が仮説クラスの選択によって異なることが知られている。
特に、分析によって注目すべき現象が明らかになる: 適応率、すなわち、分布情報を持たないもの、すなわち、距離に関する知識が与えられたとき、oracleの速度よりも任意に遅い可能性がある。
関連論文リスト
- Model-Robust and Adaptive-Optimal Transfer Learning for Tackling Concept Shifts in Nonparametric Regression [7.243632426715939]
本稿では、最適性を適応的に達成しつつ、モデルの誤特定に対して頑健な転写学習手順を提案する。
仮説伝達学習アルゴリズムの一般的なクラスにおいて、ガウス核を特定するための過剰リスクの適応収束率を導出する。
論文 参考訳（メタデータ） (2025-01-18T20:33:37Z) - Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。
この定式化の下では、外挿問題を潜在変数識別問題にキャストする。
この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
論文 参考訳（メタデータ） (2025-01-15T21:29:29Z) - Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems [39.58317527488534]
天体物理学の応用では、基礎となるデータ生成プロセスから独立した、あるいは同一に分散したサンプルを取得することはしばしば困難または不可能である。
本稿では,異なる観測セットの後方サンプルを用いてモデルを再学習し,集団レベルの分布を反復的に更新することでこの問題に対処することを提案する。
そこで本研究では,不特定分布から,更新分布が個体群レベルの分布に徐々に近づきつつあることを示す。
論文 参考訳（メタデータ） (2024-07-24T22:39:27Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - Demystifying Disagreement-on-the-Line in High Dimensions [34.103373453782744]
我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。
CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
論文 参考訳（メタデータ） (2023-01-31T02:31:18Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - An Information-theoretic Approach to Distribution Shifts [9.475039534437332]
機械学習モデルを現実世界に安全にデプロイすることは、しばしば難しいプロセスである。
特定の地理的位置から得られたデータで訓練されたモデルは、他の場所で得られたデータでクエリされたときに失敗する傾向がある。
集団のサブセットに適合するニューラルネットワークは 選択バイアスを 与えるかもしれない
論文 参考訳（メタデータ） (2021-06-07T16:44:21Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。