論文の概要: Universality in Transfer Learning for Linear Models

• arxiv url: http://arxiv.org/abs/2410.02164v2
• Date: Sun, 23 Feb 2025 21:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.515112
• Title: Universality in Transfer Learning for Linear Models
• Title（参考訳）: 線形モデルの伝達学習における普遍性
• Authors: Reza Ghane, Danil Akhtiamov, Babak Hassibi,
• Abstract要約: 本稿では,回帰モデルと二分分類モデルの両方において,伝達学習と微調整の問題について検討する。 特に,事前訓練した重み付き線形モデル上での勾配降下(SGD)の利用と,目標分布から設定した小さなトレーニングデータセットについて検討する。
• 参考スコア（独自算出の注目度）: 18.427215139020625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of transfer learning and fine-tuning in linear models for both regression and binary classification. In particular, we consider the use of stochastic gradient descent (SGD) on a linear model initialized with pretrained weights and using a small training data set from the target distribution. In the asymptotic regime of large models, we provide an exact and rigorous analysis and relate the generalization errors (in regression) and classification errors (in binary classification) for the pretrained and fine-tuned models. In particular, we give conditions under which the fine-tuned model outperforms the pretrained one. An important aspect of our work is that all the results are "universal", in the sense that they depend only on the first and second order statistics of the target distribution. They thus extend well beyond the standard Gaussian assumptions commonly made in the literature. Furthermore, our universality results extend beyond standard SGD training to the test error of a classification task trained using a ridge regression.
• Abstract（参考訳）: 本稿では,回帰モデルと二分分類モデルの両方において,伝達学習と微調整の問題について検討する。 特に,事前学習した重みを初期化した線形モデル上での確率勾配勾配(SGD)の利用と,対象分布から設定した小さなトレーニングデータセットについて検討する。 大規模モデルの漸近的状態においては、厳密かつ厳密な解析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。 特に、微調整されたモデルが事前訓練されたモデルよりも優れる条件を与える。 我々の研究の重要な側面は、全ての結果が「普遍的」であり、それらは対象分布の1階と2階の統計にのみ依存しているという点である。 したがって、それらは文学で一般的になされる標準ガウスの仮定をはるかに超えている。 さらに、我々の普遍性は、標準SGDトレーニングを超えて、リッジ回帰を用いて訓練された分類タスクのテストエラーにまで及んでいる。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Certifying Data-Bias Robustness in Linear Regression [12.00314910031517]
  本稿では, 線形回帰モデルが学習データセットのラベルバイアスに対して, ポイントワイズで損なわれているかどうかを検証する手法を提案する。 この問題を個々のテストポイントに対して正確に解く方法を示し、近似的だがよりスケーラブルな方法を提供する。 また、いくつかのデータセット上の特定のバイアス仮定に対して、高いレベルの非腐食性など、バイアス-腐食性のギャップを掘り下げる。
  論文  参考訳（メタデータ） (2022-06-07T20:47:07Z)
• Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
  我々は2つの人気のある更新手法、微調整と線形探索を比較した。 試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T08:47:06Z)
• Continuously Generalized Ordinal Regression for Linear and Deep Models [41.03778663275373]
  正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。 本稿では,クラス固有の超平面斜面をモデル化するための新しい手法を提案する。 本手法は,順序回帰ベンチマークデータセットの完全セットに対して,標準順序ロジスティックモデルよりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-02-14T19:49:05Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• How to Learn when Data Gradually Reacts to Your Model [10.074466859579571]
  我々は,これらの効果が存在する場合でも,性能損失を最小限に抑えるための新しいアルゴリズム Stateful Performative Gradient Descent (Stateful PerfGD) を提案する。 実験の結果, Stateful PerfGD は従来の最先端手法よりもかなり優れていたことが確認された。
  論文  参考訳（メタデータ） (2021-12-13T22:05:26Z)
• Training Experimentally Robust and Interpretable Binarized Regression Models Using Mixed-Integer Programming [3.179831861897336]
  マルチクラス分類タスクに対するロバストかつ解釈可能な二項化回帰モデルをトレーニングするためのモデルに基づくアプローチを提案する。 MIPモデルは、重み付けされた目的を用いて予測マージンとモデルサイズを最適化する。 MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-12-01T11:53:08Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• Gradual Domain Adaptation in the Wild:When Intermediate Distributions are Absent [32.906658998929394]
  目標が目標分布に向かってモデルをシフトさせる場合、ドメイン適応の問題に焦点をあてる。 本稿では,ソース領域とターゲット領域の例を補間することで,中間分布から仮想サンプルを作成するGIFTを提案する。
  論文  参考訳（メタデータ） (2021-06-10T22:47:06Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Testing for Typicality with Respect to an Ensemble of Learned Distributions [5.850572971372637]
  適合性のよい問題に対する一サンプルのアプローチは、オンラインテストに多大な計算上の利点をもたらす。 この設定において異常データを正しく否定する能力は、ベース分布のモデルの精度に依存する。 既成の正当性問題に対する既存の手法は、基底分布のモデルが学習されたという事実を考慮に入れない。 本稿では,アンサンブルの任意の構成員に対して,データが異常であれば異常データとなることを考慮し,密度モデルのアンサンブルを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-11-11T19:47:46Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Generalization Error of Generalized Linear Models in High Dimensions [25.635225717360466]
  任意の非線形性を持つニューラルネットワークを特徴付けるためのフレームワークを提供する。 正規ロジスティック回帰が学習に与える影響を解析する。 また,本モデルでは,特別事例の学習と配布の事例も捉えている。
  論文  参考訳（メタデータ） (2020-05-01T02:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。