論文の概要: Dynamics of Meta-learning Representation in the Teacher-student Scenario

• arxiv url: http://arxiv.org/abs/2408.12545v1
• Date: Thu, 22 Aug 2024 16:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 13:02:30.294669
• Title: Dynamics of Meta-learning Representation in the Teacher-student Scenario
• Title（参考訳）: 教師-学生シナリオにおけるメタラーニング表現のダイナミクス
• Authors: Hui Wang, Cho Tung Yip, Bo Li,
• Abstract要約: グラディエントベースのメタ学習アルゴリズムは、限られたデータを使って新しいタスクでモデルをトレーニングできることで人気を集めている。 本研究では,教師・学生シナリオにおけるストリーミングタスクを訓練した非線形2層ニューラルネットワークのメタラーニングダイナミクスについて検討する。
• 参考スコア（独自算出の注目度）: 8.099691748821114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based meta-learning algorithms have gained popularity for their ability to train models on new tasks using limited data. Empirical observations indicate that such algorithms are able to learn a shared representation across tasks, which is regarded as a key factor in their success. However, the in-depth theoretical understanding of the learning dynamics and the origin of the shared representation remains underdeveloped. In this work, we investigate the meta-learning dynamics of the non-linear two-layer neural networks trained on streaming tasks in the teach-student scenario. Through the lens of statistical physics analysis, we characterize the macroscopic behavior of the meta-training processes, the formation of the shared representation, and the generalization ability of the model on new tasks. The analysis also points to the importance of the choice of certain hyper-parameters of the learning algorithms.
• Abstract（参考訳）: グラディエントベースのメタ学習アルゴリズムは、限られたデータを使って新しいタスクでモデルをトレーニングできることで人気を集めている。 経験的観察は、そのようなアルゴリズムがタスク間の共有表現を学習できることを示している。 しかし、学習力学の深い理論的理解と共有表現の起源はまだ未発達である。 本研究では,教師/学生シナリオにおけるストリーミングタスクを訓練した非線形2層ニューラルネットワークのメタラーニングダイナミクスについて検討する。 統計物理学解析のレンズを通して,メタトレーニングプロセスのマクロな挙動,共有表現の形成,新しいタスクにおけるモデルの一般化能力を特徴付ける。 この分析はまた、学習アルゴリズムのある種のハイパーパラメータの選択の重要性も指摘している。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• SoK: On Finding Common Ground in Loss Landscapes Using Deep Model Merging Techniques [4.013324399289249]
  本稿では,モデルマージ手法の新たな分類法を提案する。 これらの分野における文献からの反復的な経験的観察を,ロスランドスケープ幾何学の4つの主要な側面のキャラクタリゼーションに用いた。
  論文  参考訳（メタデータ） (2024-10-16T18:14:05Z)
• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Deep learning of contagion dynamics on complex networks [0.0]
  本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。 任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。 この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:18:34Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。