論文の概要: Cliff-Learning
- arxiv url: http://arxiv.org/abs/2302.07348v1
- Date: Tue, 14 Feb 2023 21:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-16 16:29:34.070998
- Title: Cliff-Learning
- Title(参考訳): クリフラーニング
- Authors: Tony T. Wang, Igor Zablotchi, Nir Shavit, Jonathan S. Rosenfeld
- Abstract要約: 下流データ体制における基礎モデルからの移動学習のデータスケーリングについて検討する。
Cliff-learning(クリフラーニング)とは、データスケーリング法則の領域で、パフォーマンスが電力法則よりも高速に向上することを意味する。
- 参考スコア(独自算出の注目度): 6.834871269187078
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the data-scaling of transfer learning from foundation models in the
low-downstream-data regime. We observe an intriguing phenomenon which we call
cliff-learning. Cliff-learning refers to regions of data-scaling laws where
performance improves at a faster than power law rate (i.e. regions of concavity
on a log-log scaling plot). We conduct an in-depth investigation of
foundation-model cliff-learning and study toy models of the phenomenon. We
observe that the degree of cliff-learning reflects the degree of compatibility
between the priors of a learning algorithm and the task being learned.
- Abstract(参考訳): 下流データ体制における基礎モデルからの移動学習のデータスケーリングについて検討する。
崖の学習と呼ばれる興味深い現象を観察する。
クリフラーニング(cliff-learning)とは、電力法よりも速い速度で性能が向上するデータスケーリング法(すなわちログログスケーリングプロット上の凹凸領域)の領域を指す。
基礎モデルクリフラーニングの詳細な調査を行い,この現象の玩具モデルについて検討した。
我々は,崖の学習の程度が,学習アルゴリズムの先行と学習中の課題との互換性の度合いを反映していることを観察する。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Uncovering the Hidden Cost of Model Compression [49.937417635812025]
視覚プロンプティング (VP) はコンピュータビジョンにおいて重要な伝達学習手法として登場した。
モデル間隔は視覚的プロンプトベース転送の性能に悪影響を及ぼす。
以上の結果から,疎度が下流視覚刺激モデルの校正に及ぼす影響が示唆された。
論文 参考訳(メタデータ) (2023-08-29T01:47:49Z) - Loss Dynamics of Temporal Difference Reinforcement Learning [36.772501199987076]
線形関数近似器を用いた値関数の時間差学習のためのケースラーニング曲線について検討した。
本研究では,学習力学と台地が特徴構造,学習率,割引係数,報酬関数にどのように依存するかを検討する。
論文 参考訳(メタデータ) (2023-07-10T18:17:50Z) - Accelerating exploration and representation learning with offline
pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。
ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2023-03-31T18:03:30Z) - Explaining Deep Models through Forgettable Learning Dynamics [12.653673008542155]
学習中の学習行動の可視化には,その後の学習の時期において,サンプルがどれだけ多く学習され,忘れられるかを追跡する。
この現象に触発されて,この情報を積極的に利用してモデル内のデータ表現を変化させる新たなセグメンテーション手法を提案する。
論文 参考訳(メタデータ) (2023-01-10T21:59:20Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - A Survey on Self-supervised Pre-training for Sequential Transfer
Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。
本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文 参考訳(メタデータ) (2020-07-01T22:55:48Z) - New Perspectives on the Use of Online Learning for Congestion Level
Prediction over Traffic Data [6.664111208927475]
本研究は時系列データによる分類に焦点を当てる。
非定常現象によって時系列が生成されると、予測されるクラスと系列に関連するパターンは時間とともに進化する。
オンライン学習方法は、時間とともに到着する新しいデータサンプルから漸進的に学習し、データストリームに沿った最終的な変更に対応する。
論文 参考訳(メタデータ) (2020-03-27T09:44:57Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。