論文の概要: Learning Large-scale Neural Fields via Context Pruned Meta-Learning

• arxiv url: http://arxiv.org/abs/2302.00617v3
• Date: Tue, 24 Oct 2023 12:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 03:20:48.262204
• Title: Learning Large-scale Neural Fields via Context Pruned Meta-Learning
• Title（参考訳）: コンテキストプルーニングメタラーニングによる大規模ニューラルネットワークの学習
• Authors: Jihoon Tack, Subin Kim, Sihyun Yu, Jaeho Lee, Jinwoo Shin, Jonathan Richard Schwarz
• Abstract要約: 本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
• 参考スコア（独自算出の注目度）: 60.93679437452872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an efficient optimization-based meta-learning technique for large-scale neural field training by realizing significant memory savings through automated online context point selection. This is achieved by focusing each learning step on the subset of data with the highest expected immediate improvement in model quality, resulting in the almost instantaneous modeling of global structure and subsequent refinement of high-frequency details. We further improve the quality of our meta-learned initialization by introducing a bootstrap correction resulting in the minimization of any error introduced by reduced context sets while simultaneously mitigating the well-known myopia of optimization-based meta-learning. Finally, we show how gradient re-scaling at meta-test time allows the learning of extremely high-quality neural fields in significantly shortened optimization procedures. Our framework is model-agnostic, intuitive, straightforward to implement, and shows significant reconstruction improvements for a wide range of signals. We provide an extensive empirical evaluation on nine datasets across multiple multiple modalities, demonstrating state-of-the-art results while providing additional insight through careful analysis of the algorithmic components constituting our method. Code is available at https://github.com/jihoontack/GradNCP
• Abstract（参考訳）: 本稿では,オンラインコンテキストポイントの自動選択による大幅なメモリ節約を実現することで,大規模ニューラルネットワークトレーニングのための効率的な最適化に基づくメタ学習手法を提案する。 これは、各学習ステップをデータサブセットに集中させ、モデル品質の即時改善を期待し、その結果、大域構造のほぼ瞬時にモデリングし、高周波の詳細を洗練させることによって達成される。 さらに,最適化に基づくメタ学習のマイオピアを緩和しつつ,文脈セットの縮小によって生じる誤りを最小化するブートストラップ補正を導入することで,メタ学習初期化の質をさらに向上させる。 最後に,メタテスト時間における勾配再スケーリングが,最適化手順を大幅に短縮する上で,極めて高品質なニューラルネットワークの学習を可能にすることを示す。 私たちのフレームワークはモデルに依存しず、直感的で、実装が簡単で、幅広い信号に対する大幅な再構成改善を示しています。 本稿では,複数のモダリティにまたがる9つのデータセットの広範な実験評価を行い,その手法を構成するアルゴリズム成分を注意深く分析することで,最先端の結果を示す。 コードはhttps://github.com/jihoontack/GradNCPで入手できる。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
  この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。 我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
  論文  参考訳（メタデータ） (2023-12-26T12:19:22Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Multi-view Information Bottleneck Without Variational Approximation [34.877573432746246]
  情報ボトルネックの原理を教師付き多視点学習シナリオに拡張する。 我々は、最近提案された行列ベースのR'enyiの$alpha$-order entropy関数を用いて、結果の目的を最適化する。 合成と実世界の両方のデータセットにおける実験結果から,各ビューにおけるノイズや冗長な情報に対するロバスト性の向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T06:48:04Z)
• Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
  メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。 メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。 このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T18:36:33Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Gradient-EM Bayesian Meta-learning [6.726255259929496]
  ベイズメタラーニングの背後にある主要なアイデアは、階層的モデルのベイズ推論を経験的に行うことである。 本研究では、このフレームワークを様々な既存手法に拡張し、勾配-EMアルゴリズムに基づく変種を提案する。 正弦波回帰, 少数ショット画像分類, およびポリシーに基づく強化学習実験により, 本手法は計算コストを抑えて精度を向上するだけでなく, 不確実性に対しても頑健であることが示された。
  論文  参考訳（メタデータ） (2020-06-21T10:52:59Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。