論文の概要: Transfer Learning Beyond Bounded Density Ratios
- arxiv url: http://arxiv.org/abs/2403.11963v1
- Date: Mon, 18 Mar 2024 17:02:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 19:20:58.355968
- Title: Transfer Learning Beyond Bounded Density Ratios
- Title（参考訳）: 境界密度比を超えた伝達学習
- Authors: Alkis Kalavasis, Ilias Zadik, Manolis Zampetakis,
- Abstract要約: 学習アルゴリズムは、あるソース分布からデータを収集するが、異なるターゲット分布に対して$Q$である。
我々の主な結果は、ドメインの$mathbbRn$に対する一般的な転送不等式であり、非常に穏やかな仮定の下では、低次数に対する非自明な転送学習が可能であることを証明している。
- 参考スコア（独自算出の注目度）: 21.522183597134234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the fundamental problem of transfer learning where a learning algorithm collects data from some source distribution $P$ but needs to perform well with respect to a different target distribution $Q$. A standard change of measure argument implies that transfer learning happens when the density ratio $dQ/dP$ is bounded. Yet, prior thought-provoking works by Kpotufe and Martinet (COLT, 2018) and Hanneke and Kpotufe (NeurIPS, 2019) demonstrate cases where the ratio $dQ/dP$ is unbounded, but transfer learning is possible. In this work, we focus on transfer learning over the class of low-degree polynomial estimators. Our main result is a general transfer inequality over the domain $\mathbb{R}^n$, proving that non-trivial transfer learning for low-degree polynomials is possible under very mild assumptions, going well beyond the classical assumption that $dQ/dP$ is bounded. For instance, it always applies if $Q$ is a log-concave measure and the inverse ratio $dP/dQ$ is bounded. To demonstrate the applicability of our inequality, we obtain new results in the settings of: (1) the classical truncated regression setting, where $dQ/dP$ equals infinity, and (2) the more recent out-of-distribution generalization setting for in-context learning linear functions with transformers. We also provide a discrete analogue of our transfer inequality on the Boolean Hypercube $\{-1,1\}^n$, and study its connections with the recent problem of Generalization on the Unseen of Abbe, Bengio, Lotfi and Rizk (ICML, 2023). Our main conceptual contribution is that the maximum influence of the error of the estimator $\widehat{f}-f^*$ under $Q$, $\mathrm{I}_{\max}(\widehat{f}-f^*)$, acts as a sufficient condition for transferability; when $\mathrm{I}_{\max}(\widehat{f}-f^*)$ is appropriately bounded, transfer is possible over the Boolean domain.
- Abstract（参考訳）: 学習アルゴリズムは、あるソース分布からデータを収集するが、異なるターゲット分布に対して$Q$である。
測度論の標準的な変化は、転送学習が密度比$dQ/dP$が有界であるときに起こることを意味する。
しかし、Kpotufe と Martinet (COLT, 2018) と Hanneke と Kpotufe (NeurIPS, 2019) による事前の思考誘発研究は、dQ/dP$ の比率が未有のケースを実証している。
本研究では,低次多項式推定器のクラスにおける伝達学習に着目した。
我々の主な結果は、領域 $\mathbb{R}^n$ 上の一般的な移動不等式であり、低次多項式に対する非自明な移動学習は、非常に穏やかな仮定の下で可能であることを証明し、$dQ/dP$ が有界であるという古典的な仮定をはるかに超えている。
例えば、$Q$ が対数凹測度であり、逆比 $dP/dQ$ が有界である場合、常に適用される。
不等式の適用性を実証するため,(1) 古典的truncated regression set, where $dQ/dP$ equals infinity, (2) より最近の変換器を用いたインコンテキスト学習線形関数のアウト・オブ・ディストリビューション一般化set という設定で新たな結果を得た。
また、Boolean Hypercube $\{-1,1\}^n$ 上での移動不等式を離散的に類似させ、Abe, Bengio, Lotfi, Rizk (ICML, 2023) の不等式に関する最近の一般化問題との関係について研究する。
我々の主要な概念的貢献は、推定器 $\widehat{f}-f^*$ under $Q$, $\mathrm{I}_{\max}(\widehat{f}-f^*)$ の誤差の最大値は、転送可能性の十分な条件として作用するということである。
関連論文リスト
- Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Sharp Rates in Dependent Learning Theory: Avoiding Sample Size Deflation for the Square Loss [33.18537822803389]
L2$ と $Psi_p$ の位相が我々の仮説クラス $mathscrF$, $mathscrF$ に同値であるときにいつでも、$mathscrF$ は弱準ガウス類であることを示す。
以上の結果から, 混合への直接的な依存は高次項に還元されるため, この問題は実現可能か否かを判断できる。
論文 参考訳（メタデータ） (2024-02-08T18:57:42Z) - Towards the Fundamental Limits of Knowledge Transfer over Finite Domains [8.575522204707957]
3つの段階の特権情報によって転送が促進されることを示す。
第一段階では、ハードラベルを持つサンプルのみが知られており、最大極大推定器はミニマックスレート$sqrt|mathcal Smathcal A|/n$に達する。
第3のレベルはさらに、サンプル入力毎に$mathcal A$のソフトラベル(完全ロジット)を学生に提供するので、学生は$|mathcal S|/n$ free of $を楽しむことができる。
論文 参考訳（メタデータ） (2023-10-11T19:30:08Z) - Depth Dependence of $\mu$P Learning Rates in ReLU MLPs [72.14317069090407]
我々は、最大更新(mu$P)学習率の$n$と$L$に依存することを研究する。
我々は、$L3/2.$のように、$L$の非自明な依存があることを発見した。
論文 参考訳（メタデータ） (2023-05-13T01:10:49Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - Locality defeats the curse of dimensionality in convolutional
teacher-student scenarios [69.2027612631023]
学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。
我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
論文 参考訳（メタデータ） (2021-06-16T08:27:31Z) - Learning the optimal regularizer for inverse problems [1.763934678295407]
線形逆問題 $y=Ax+epsilon$ を考えると、$Acolon Xto Y$ は分離可能なヒルベルト空間 $X$ と $Y$ の間の既知の線型作用素である。
この設定は、デノイング、デブロアリング、X線トモグラフィーなど、画像のいくつかの逆問題を含んでいる。
古典的な正規化の枠組みの中では、正規化関数が優先順位を与えられず、データから学習される場合に焦点を当てる。
論文 参考訳（メタデータ） (2021-06-11T17:14:27Z) - Hardness of Learning Halfspaces with Massart Noise [56.98280399449707]
我々は、マッサート(有界)ノイズの存在下でPAC学習のハーフスペースの複雑さを研究します。
情報理論上最適なエラーとSQアルゴリズムで達成できる最高のエラーとの間に指数関数的なギャップがあることを示した。
論文 参考訳（メタデータ） (2020-12-17T16:43:11Z) - An Improved Transfer Model: Randomized Transferable Machine [32.50263074872975]
そこで本研究では,Randomized Transferable Machine (RTM) と呼ばれる新しいトランスファーモデルを提案する。
具体的には,既存の特徴量に基づく転送手法から得られた新たなソースとターゲットデータについて検討する。
原則として、汚職が多くなるほど、新しいターゲットデータの確率が高くなると、構築されたソースデータ人口でカバーできる。
論文 参考訳（メタデータ） (2020-11-27T09:37:01Z) - Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and
ReLUs under Gaussian Marginals [49.60752558064027]
ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。
我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
論文 参考訳（メタデータ） (2020-06-29T17:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。