論文の概要: Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate

• arxiv url: http://arxiv.org/abs/2402.02769v2
• Date: Fri, 19 Jul 2024 09:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 23:56:51.440731
• Title: Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate
• Title（参考訳）: 正規化の教えから学ぶ: 一般化可能な相関は省略し易い
• Authors: Can Jin, Tong Che, Hongwu Peng, Yiyuan Li, Dimitris N. Metaxas, Marco Pavone,
• Abstract要約: 一般化は依然として機械学習における中心的な課題である。 本稿では,ニューラルネットワークを一般化するための新しい正規化手法であるLearning from Teaching (LoT)を提案する。 LoTはこの概念を運用し、補助的な学生学習者とメインモデルの一般化を改善する。
• 参考スコア（独自算出の注目度）: 40.5601980891318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization remains a central challenge in machine learning. In this work, we propose Learning from Teaching (LoT), a novel regularization technique for deep neural networks to enhance generalization. Inspired by the human ability to capture concise and abstract patterns, we hypothesize that generalizable correlations are expected to be easier to imitate. LoT operationalizes this concept to improve generalization of the main model with auxiliary student learners. The student learners are trained by the main model and, in turn, provide feedback to help the main model capture more generalizable and imitable correlations. Our experimental results across several domains, including Computer Vision, Natural Language Processing, and methodologies like Reinforcement Learning, demonstrate that the introduction of LoT brings significant benefits compared to training models on the original dataset. The results suggest the effectiveness and efficiency of LoT in identifying generalizable information at the right scales while discarding spurious data correlations, thus making LoT a valuable addition to current machine learning. Code is available at https://github.com/jincan333/LoT.
• Abstract（参考訳）: 一般化は依然として機械学習における中心的な課題である。 本研究では,深層ニューラルネットワークのための新しい正規化手法であるLearning from Teaching (LoT)を提案する。 簡潔で抽象的なパターンを捉える人間の能力に触発されて、一般化可能な相関は模倣し易いと仮定する。 LoTはこの概念を運用し、補助的な学生学習者とメインモデルの一般化を改善する。 学生の学習者は、メインモデルによって訓練され、その上で、メインモデルがより一般化可能でイミタブルな相関を捉えるのに役立つフィードバックを提供する。 コンピュータビジョン、自然言語処理、強化学習のような方法論を含むいくつかの領域にわたる実験結果は、LoTの導入がオリジナルのデータセットのトレーニングモデルと比較して大きなメリットをもたらすことを実証しています。 以上の結果から,LoTはデータ相関を排除しつつ,適切なスケールで一般化可能な情報を識別する上での有効性と効率性が示唆され,現在の機械学習に付加価値が期待できる。 コードはhttps://github.com/jincan333/LoT.comで入手できる。

関連論文リスト

• AS-ES Learning: Towards Efficient CoT Learning in Small Models [35.225382243612174]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)において重要な出現能力として機能する 本稿では,CoT内固有の情報を反復生成に活用したAS-ES学習手法を提案する。 実験により,データ拡張やモデル自体の変更を伴わずに,MWPやPET要約などのCoT集約タスクにおけるSeq2seqトレーニングを超越した手法が得られた。
  論文  参考訳（メタデータ） (2024-03-04T12:13:59Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• The Benefits of Model-Based Generalization in Reinforcement Learning [11.434117284660125]
  経験リプレイ(ER)は, 深部RLの安定性と効率向上に有効であることが証明された, 単純なモデルであると考えられる。 原則として、学習されたパラメトリックモデルは、実体験から一般化し、付加可能な経験でデータセットを増強することで、ERを改善することができる。 ここでは、学習モデルによって生成されたデータが有用であると期待できる時期と方法について、理論的、実証的な知見を提供する。
  論文  参考訳（メタデータ） (2022-11-04T02:10:35Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
  本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-05-31T16:42:09Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。