Fugu-MT 論文翻訳(概要): Cliff-Learning

論文の概要: Cliff-Learning

arxiv url: http://arxiv.org/abs/2302.07348v2
Date: Wed, 7 Jun 2023 00:09:34 GMT
ステータス: 処理完了
システム内更新日: 2023-06-08 19:14:01.866544
Title: Cliff-Learning
Title（参考訳）: クリフラーニング
Authors: Tony T. Wang, Igor Zablotchi, Nir Shavit, Jonathan S. Rosenfeld
Abstract要約: 下流データ体制における基礎モデルからの移動学習のデータスケーリングについて検討する。 Cliff-learning(クリフラーニング)とは、データスケーリング法則の領域で、パフォーマンスが電力法則よりも高速に向上することを意味する。
参考スコア（独自算出の注目度）: 6.834871269187078
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the data-scaling of transfer learning from foundation models in the low-downstream-data regime. We observe an intriguing phenomenon which we call cliff-learning. Cliff-learning refers to regions of data-scaling laws where performance improves at a faster than power law rate (i.e. regions of concavity on a log-log scaling plot). We conduct an in-depth investigation of foundation-model cliff-learning and study toy models of the phenomenon. We observe that the degree of cliff-learning reflects the degree of compatibility between the priors of a learning algorithm and the task being learned.
Abstract（参考訳）: 下流データ体制における基礎モデルからの移動学習のデータスケーリングについて検討する。崖の学習と呼ばれる興味深い現象を観察する。クリフラーニング(cliff-learning)とは、電力法よりも速い速度で性能が向上するデータスケーリング法(すなわちログログスケーリングプロット上の凹凸領域)の領域を指す。基礎モデルクリフラーニングの詳細な調査を行い,この現象の玩具モデルについて検討した。我々は,崖の学習の程度が,学習アルゴリズムの先行と学習中の課題との互換性の度合いを反映していることを観察する。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
論文参考訳（メタデータ） (2024-09-05T17:58:28Z)
An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文参考訳（メタデータ） (2024-02-02T13:33:30Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。我々のアプローチは、意図をモデル化することで受動的データから学習する。実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
論文参考訳（メタデータ） (2023-04-10T17:59:05Z)
Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文参考訳（メタデータ） (2023-03-31T18:03:30Z)
CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文参考訳（メタデータ） (2022-05-30T13:34:46Z)
A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文参考訳（メタデータ） (2020-07-01T22:55:48Z)
New Perspectives on the Use of Online Learning for Congestion Level Prediction over Traffic Data [6.664111208927475]
本研究は時系列データによる分類に焦点を当てる。非定常現象によって時系列が生成されると、予測されるクラスと系列に関連するパターンは時間とともに進化する。オンライン学習方法は、時間とともに到着する新しいデータサンプルから漸進的に学習し、データストリームに沿った最終的な変更に対応する。
論文参考訳（メタデータ） (2020-03-27T09:44:57Z)
The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。