論文の概要: Task Shift: From Classification to Regression in Overparameterized Linear Models

• arxiv url: http://arxiv.org/abs/2502.13285v1
• Date: Tue, 18 Feb 2025 21:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:25.076424
• Title: Task Shift: From Classification to Regression in Overparameterized Linear Models
• Title（参考訳）: タスクシフト:過パラメータ線形モデルにおける分類から回帰へ
• Authors: Tyler LaBonte, Kuo-Wei Lai, Vidya Muthukumar,
• Abstract要約: 類似したデータ分布の下で、潜伏知識がより困難なタスクに転送される現象について検討する。 分類のための最小ノルム補間器は、事前回帰に転送できないが、驚くほど構造化された減衰を経験し、限られた追加データでタスクシフトを成功させることができることを示した。 以上の結果から,最小ノルム補間器は事前回帰に移行できないが,意外な構造的減衰を経験し,限られたデータでタスクシフトを成功させることができた。
• 参考スコア（独自算出の注目度）: 5.030445392527011
• License:
• Abstract: Modern machine learning methods have recently demonstrated remarkable capability to generalize under task shift, where latent knowledge is transferred to a different, often more difficult, task under a similar data distribution. We investigate this phenomenon in an overparameterized linear regression setting where the task shifts from classification during training to regression during evaluation. In the zero-shot case, wherein no regression data is available, we prove that task shift is impossible in both sparse signal and random signal models for any Gaussian covariate distribution. In the few-shot case, wherein limited regression data is available, we propose a simple postprocessing algorithm which asymptotically recovers the ground-truth predictor. Our analysis leverages a fine-grained characterization of individual parameters arising from minimum-norm interpolation which may be of independent interest. Our results show that while minimum-norm interpolators for classification cannot transfer to regression a priori, they experience surprisingly structured attenuation which enables successful task shift with limited additional data.
• Abstract（参考訳）: 現代の機械学習手法は、最近、タスクシフトの下で、潜在知識が同様のデータ分散の下で異なる、より難しいタスクに転送される、顕著な一般化能力を示した。 本研究では,タスクが訓練中の分類から評価中の回帰へ移行する過パラメータ線形回帰環境において,この現象を考察する。 ゼロショットの場合、回帰データが得られない場合、任意のガウス共変量分布に対するスパース信号とランダム信号モデルの両方においてタスクシフトは不可能であることを示す。 限られた回帰データが得られる数ショットの場合、漸近的に接地構造予測器を復元する単純な後処理アルゴリズムを提案する。 本分析では, 最小ノルム補間から生じる個々のパラメータの微細な特性を, 独立的関心事として活用する。 以上の結果から,最小ノルム補間器は事前回帰に移行できないが,意外な構造的減衰を経験し,限られたデータでタスクシフトを成功させることができた。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Mitigating Covariate Shift in Misspecified Regression with Applications to Reinforcement Learning [39.02112341007981]
  本研究では,分布変化がモデルミス種別の有無に及ぼす影響について検討した。 経験的リスク最小化(または標準最小二乗回帰)は、望ましくない不特定性の増幅をもたらす可能性があることを示す。 我々は、この好ましくない振る舞いを避ける新しいアルゴリズムを開発し、したがって、最適な統計率を得ながら、誤特定の増幅を行わない。
  論文  参考訳（メタデータ） (2024-01-22T18:59:12Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
  我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。 エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。 一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
  論文  参考訳（メタデータ） (2023-07-03T08:19:00Z)
• Scalable Estimation for Structured Additive Distributional Regression [0.0]
  本稿では,勾配降下の考え方に基づいて,従来のノートパソコン上の任意の量のデータを扱うことができる新しいバックフィッティングアルゴリズムを提案する。 大規模なシミュレーション研究と、オーストリアにおける雷数予測の非常に困難でユニークな例を用いて、性能を評価した。
  論文  参考訳（メタデータ） (2023-01-13T14:59:42Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Tomographic Auto-Encoder: Unsupervised Bayesian Recovery of Corrupted Data [4.725669222165439]
  破損したデータの教師なし回復のための新しい確率的手法を提案する。 劣化したサンプルの大規模なアンサンブルを考慮し,クリーンな値の正確な後部を復元する。 我々は、欠落した値とノイズの共通の設定の下で、データリカバリタスクでモデルをテストします。
  論文  参考訳（メタデータ） (2020-06-30T16:18:16Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。