論文の概要: Learning from Teaching Regularization: Generalizable Correlations Should
be Easy to Imitate
- arxiv url: http://arxiv.org/abs/2402.02769v1
- Date: Mon, 5 Feb 2024 07:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 17:37:51.800163
- Title: Learning from Teaching Regularization: Generalizable Correlations Should
be Easy to Imitate
- Title(参考訳): 正規化の指導から学ぶ: 一般化可能な相関は模倣しやすい
- Authors: Can Jin, Tong Che, Hongwu Peng, Yiyuan Li, Marco Pavone
- Abstract要約: 一般化は依然として機械学習における中心的な課題である。
本稿では,ニューラルネットワークを一般化するための新しい正規化手法であるLearning from Teaching (LoT)を提案する。
LoTはこの概念を運用し、補助的な学生学習者によるメインモデルの一般化を改善する。
- 参考スコア(独自算出の注目度): 20.019477798224212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalization remains a central challenge in machine learning. In this work,
we propose Learning from Teaching (LoT), a novel regularization technique for
deep neural networks to enhance generalization. Inspired by the human ability
to capture concise and abstract patterns, we hypothesize that generalizable
correlations are expected to be easier to teach. LoT operationalizes this
concept to improve the generalization of the main model with auxiliary student
learners. The student learners are trained by the main model and improve the
main model to capture more generalizable and teachable correlations by
providing feedback. Our experimental results across several domains, including
Computer Vision, Natural Language Processing, and Reinforcement Learning,
demonstrate that the introduction of LoT brings significant benefits compared
to merely training models on the original training data. It suggests the
effectiveness of LoT in identifying generalizable information without falling
into the swamp of complex patterns in data, making LoT a valuable addition to
the current machine learning frameworks.
- Abstract(参考訳): 一般化は機械学習の中心的な課題である。
本研究では,深層ニューラルネットワークのための新しい正規化手法であるlearning from teaching (lot)を提案する。
簡潔で抽象的なパターンを捉える人間の能力に触発されて、一般化可能な相関は教えやすいと仮定する。
LoTはこの概念を運用し、補助的学習者によるメインモデルの一般化を改善する。
学生学習者は、主モデルによって訓練され、主モデルを改善し、フィードバックを提供することで、より一般化し、教示可能な相関関係を捉える。
コンピュータビジョン,自然言語処理,強化学習など,いくつかの領域にわたる実験結果から,LoTの導入は,本来のトレーニングデータ上でのトレーニングモデルに比べて,大きなメリットをもたらすことが示された。
これは、データ内の複雑なパターンの沼に陥ることなく、一般化可能な情報を識別するLoTの有効性を示唆している。
関連論文リスト
- Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。
構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文 参考訳(メタデータ) (2024-03-04T23:12:42Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳(メタデータ) (2022-11-17T17:38:55Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。
我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文 参考訳(メタデータ) (2022-10-21T21:59:42Z) - Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。
モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。
簡単な代替手法として、分数変換学習を提案する。
論文 参考訳(メタデータ) (2021-08-14T12:44:42Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳(メタデータ) (2021-07-19T13:57:13Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳(メタデータ) (2021-04-20T09:59:23Z) - A Brief Summary of Interactions Between Meta-Learning and
Self-Supervised Learning [0.0]
本稿ではメタラーニングと自己指導型学習の関連について概説する。
メタラーニングと自己教師付き学習モデルの統合は,モデル一般化能力の向上に最も貢献できることを示す。
論文 参考訳(メタデータ) (2021-03-01T08:31:28Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2020-11-19T18:47:40Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z) - A Survey on Self-supervised Pre-training for Sequential Transfer
Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。
本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文 参考訳(メタデータ) (2020-07-01T22:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。