論文の概要: Efficient Meta-Learning via Error-based Context Pruning for Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2302.00617v1
• Date: Wed, 1 Feb 2023 17:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 12:38:55.428909
• Title: Efficient Meta-Learning via Error-based Context Pruning for Implicit Neural Representations
• Title（参考訳）: 帰納的ニューラル表現のための誤りに基づくコンテキストプルーニングによるメタラーニング
• Authors: Jihoon Tack, Subin Kim, Sihyun Yu, Jaeho Lee, Jinwoo Shin, Jonathan Richard Schwarz
• Abstract要約: 大規模暗黙的ニューラル表現(INR)を学習するための効率的な最適化に基づくメタラーニング手法を提案する。 私たちの主なアイデアは、メタ学習のメモリ要求を大幅に削減できる、オンラインのコンテキストポイントの選択を設計することです。 提案手法はモデルに依存しない,直感的で,実装が容易で,広範囲な信号に対して大幅な再構築が可能である。
• 参考スコア（独自算出の注目度）: 65.01007150116114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an efficient optimization-based meta-learning technique for learning large-scale implicit neural representations (INRs). Our main idea is designing an online selection of context points, which can significantly reduce memory requirements for meta-learning in any established setting. By doing so, we expect additional memory savings which allows longer per-signal adaptation horizons (at a given memory budget), leading to better meta-initializations by reducing myopia and, more crucially, enabling learning on high-dimensional signals. To implement such context pruning, our technical novelty is three-fold. First, we propose a selection scheme that adaptively chooses a subset at each adaptation step based on the predictive error, leading to the modeling of the global structure of the signal in early steps and enabling the later steps to capture its high-frequency details. Second, we counteract any possible information loss from context pruning by minimizing the parameter distance to a bootstrapped target model trained on a full context set. Finally, we suggest using the full context set with a gradient scaling scheme at test-time. Our technique is model-agnostic, intuitive, and straightforward to implement, showing significant reconstruction improvements for a wide range of signals. Code is available at https://github.com/jihoontack/ECoP
• Abstract（参考訳）: 大規模暗黙的神経表現(inrs)を学習するための効率的な最適化に基づくメタラーニング手法を提案する。 私たちの主なアイデアは、任意の確立された環境でのメタラーニングのメモリ要件を大幅に削減できる、コンテキストポイントのオンライン選択を設計することです。 これによって、(所定のメモリ予算で)信号毎の適応性が長くなり、ミオピアを減らしてメタ初期化が改善され、さらに重要なことに、高次元の信号で学習できるようになる。 このようなコンテキストプルーニングを実装するために、私たちの技術的斬新さは3倍です。 まず、予測誤差に基づいて各適応ステップのサブセットを適応的に選択し、初期ステップにおける信号のグローバルな構造をモデル化し、後段のステップがその高周波の詳細をキャプチャできるようにする選択方式を提案する。 第2に、フルコンテキストセットでトレーニングされたブートストラップ対象モデルに対するパラメータ距離を最小化することにより、コンテクストプルーニングからの任意の情報損失を対策する。 最後に、テスト時に勾配スケーリングスキームを備えたフルコンテキストセットの使用を提案する。 この手法はモデル非依存で直感的で、実装が容易で、幅広い信号に対する大幅な再構成改善を示す。 コードはhttps://github.com/jihoontack/ECoPで入手できる。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
  この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。 我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
  論文  参考訳（メタデータ） (2023-12-26T12:19:22Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Multi-view Information Bottleneck Without Variational Approximation [34.877573432746246]
  情報ボトルネックの原理を教師付き多視点学習シナリオに拡張する。 我々は、最近提案された行列ベースのR'enyiの$alpha$-order entropy関数を用いて、結果の目的を最適化する。 合成と実世界の両方のデータセットにおける実験結果から,各ビューにおけるノイズや冗長な情報に対するロバスト性の向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T06:48:04Z)
• Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
  メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。 メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。 このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T18:36:33Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Gradient-EM Bayesian Meta-learning [6.726255259929496]
  ベイズメタラーニングの背後にある主要なアイデアは、階層的モデルのベイズ推論を経験的に行うことである。 本研究では、このフレームワークを様々な既存手法に拡張し、勾配-EMアルゴリズムに基づく変種を提案する。 正弦波回帰, 少数ショット画像分類, およびポリシーに基づく強化学習実験により, 本手法は計算コストを抑えて精度を向上するだけでなく, 不確実性に対しても頑健であることが示された。
  論文  参考訳（メタデータ） (2020-06-21T10:52:59Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。