論文の概要: Meta-Learning Sparse Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2110.14678v1
• Date: Wed, 27 Oct 2021 18:02:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 15:21:57.187049
• Title: Meta-Learning Sparse Implicit Neural Representations
• Title（参考訳）: メタラーニング ばらばらな暗黙の神経表現
• Authors: Jaeho Lee, Jihoon Tack, Namhoon Lee, Jinwoo Shin
• Abstract要約: 入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
• 参考スコア（独自算出の注目度）: 69.15490627853629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representations are a promising new avenue of representing general signals by learning a continuous function that, parameterized as a neural network, maps the domain of a signal to its codomain; the mapping from spatial coordinates of an image to its pixel values, for example. Being capable of conveying fine details in a high dimensional signal, unboundedly of its domain, implicit neural representations ensure many advantages over conventional discrete representations. However, the current approach is difficult to scale for a large number of signals or a data set, since learning a neural representation -- which is parameter heavy by itself -- for each signal individually requires a lot of memory and computations. To address this issue, we propose to leverage a meta-learning approach in combination with network compression under a sparsity constraint, such that it renders a well-initialized sparse parameterization that evolves quickly to represent a set of unseen signals in the subsequent training. We empirically demonstrate that meta-learned sparse neural representations achieve a much smaller loss than dense meta-learned models with the same number of parameters, when trained to fit each signal using the same number of optimization steps.
• Abstract（参考訳）: 暗黙的神経表現は、ニューラルネットワークとしてパラメータ化され、信号の領域をそのコドメインにマッピングする連続関数、例えば画像の空間座標からピクセル値へのマッピングを学習することによって、一般的な信号を表現する、有望な新しい方法である。 暗黙的な神経表現は、その領域の無界な高次元信号で細部を伝達できるため、従来の離散表現よりも多くの利点がある。 しかし、多くの信号やデータセットに対して、ニューラルネットワークの表現を学習することは、個々の信号に対して個別に多くのメモリと計算を必要とするため、現在のアプローチではスケールアップが困難である。 この問題に対処するため,我々は,疎度制約下でのネットワーク圧縮と組み合わせたメタラーニング手法を提案する。 同数のパラメータを持つ高密度なメタ学習モデルよりも、同じ数の最適化ステップを用いて各信号に適合するように訓練した場合に、メタ学習されたスパースニューラル表現がはるかに少ない損失を達成できることを実証的に示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Generalizable Neural Fields as Partially Observed Neural Processes [16.202109517569145]
  本稿では,ニューラル表現の大規模トレーニングを部分的に観察されたニューラルプロセスフレームワークの一部として考える新しいパラダイムを提案する。 このアプローチは、最先端の勾配に基づくメタラーニングアプローチとハイパーネットワークアプローチの両方より優れていることを実証する。
  論文  参考訳（メタデータ） (2023-09-13T01:22:16Z)
• Random Weight Factorization Improves the Training of Continuous Neural Representations [1.911678487931003]
  連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。 従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
  論文  参考訳（メタデータ） (2022-10-03T23:48:48Z)
• Sobolev Training for Implicit Neural Representations with Approximated Image Derivatives [12.71676484494428]
  ニューラルネットワークによってパラメータ化されたインプシットニューラルネットワーク表現(INR)は、さまざまな種類の信号を表現するための強力なツールとして登場した。 ニューラルネットワークにおける画像値に加えて、画像の微分を符号化するために、ターゲット出力が画像画素であるINRのトレーニングパラダイムを提案する。 トレーニングパラダイムをどのように活用して、典型的なINR(画像回帰と逆レンダリング)の問題を解決するかを示す。
  論文  参考訳（メタデータ） (2022-07-21T10:12:41Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• MINER: Multiscale Implicit Neural Representations [43.36327238440042]
  本稿では,大規模信号の効率的な高分解能表現を目的とした新しいニューラル信号表現を提案する。 マルチスケールの暗黙的神経表現(MINER)における重要な革新は、ラプラシアピラミッドによる内部表現である。 我々は、パラメータの25%未満、メモリフットプリントの33%、ACORNのような競合技術が同じ表現誤差に達するのに10%の時間を必要とすることを示した。
  論文  参考訳（メタデータ） (2022-02-07T21:49:33Z)
• Learned Initializations for Optimizing Coordinate-Based Neural Representations [47.408295381897815]
  コーディネートベースのニューラル表現は、離散的な配列ベースの表現の代替として大きな可能性を示してきた。 完全連結ネットワークの初期重みパラメータを学習するために,標準的なメタ学習アルゴリズムを適用することを提案する。 本研究では,2次元画像の表現,CTスキャンの再構成,2次元画像観察から3次元形状やシーンを復元するなど,様々なタスクにまたがってこれらのメリットを探求する。
  論文  参考訳（メタデータ） (2020-12-03T18:59:52Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。