論文の概要: Neural Implicit Dictionary via Mixture-of-Expert Training

• arxiv url: http://arxiv.org/abs/2207.03691v1
• Date: Fri, 8 Jul 2022 05:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-11 13:38:05.569174
• Title: Neural Implicit Dictionary via Mixture-of-Expert Training
• Title（参考訳）: Mixture-of-Expert Training によるニューラルインプシシット辞書
• Authors: Peihao Wang, Zhiwen Fan, Tianlong Chen, Zhangyang Wang
• Abstract要約: ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
• 参考スコア（独自算出の注目度）: 111.08941206369508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing visual signals by coordinate-based deep fully-connected networks has been shown advantageous in fitting complex details and solving inverse problems than discrete grid-based representation. However, acquiring such a continuous Implicit Neural Representation (INR) requires tedious per-scene training on tons of signal measurements, which limits its practicality. In this paper, we present a generic INR framework that achieves both data and training efficiency by learning a Neural Implicit Dictionary (NID) from a data collection and representing INR as a functional combination of basis sampled from the dictionary. Our NID assembles a group of coordinate-based subnetworks which are tuned to span the desired function space. After training, one can instantly and robustly acquire an unseen scene representation by solving the coding coefficients. To parallelly optimize a large group of networks, we borrow the idea from Mixture-of-Expert (MoE) to design and train our network with a sparse gating mechanism. Our experiments show that, NID can improve reconstruction of 2D images or 3D scenes by 2 orders of magnitude faster with up to 98% less input data. We further demonstrate various applications of NID in image inpainting and occlusion removal, which are considered to be challenging with vanilla INR. Our codes are available in https://github.com/VITA-Group/Neural-Implicit-Dict.
• Abstract（参考訳）: 座標ベースのディープ完全接続ネットワークによる視覚信号の表現は、離散グリッドベースの表現よりも複雑な詳細に適合し、逆問題の解決に有利であることが示されている。 しかし、そのような連続的な暗黙的神経表現(inr)を得るには、その実用性を制限した大量の信号測定の退屈な訓練が必要である。 本稿では、データ収集からニューラルネットワーク辞書(NID)を学習し、INRを辞書からサンプリングした基底の関数的組み合わせとして表現することにより、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのサブネットワークのグループを組み立てる。 訓練後、符号化係数を解いて、瞬時かつロバストなシーン表現を得ることができる。 大規模なネットワークを並列に最適化するために、我々はMixture-of-Expert(MoE)のアイデアを借りて、スパースゲーティング機構でネットワークを設計、訓練する。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。 さらに,バニラINRに難渋していると考えられる画像塗布および閉塞除去におけるNIDの様々な応用を実証した。 私たちのコードはhttps://github.com/VITA-Group/Neural-Implicit-Dict.orgで公開されています。

関連論文リスト

• Adaptively Placed Multi-Grid Scene Representation Networks for Large-Scale Data Visualization [16.961769402078264]
  科学データの圧縮と可視化のためにSRN(Scene representation network)が最近提案されている。 適応配置多重グリッドSRN(APMGSRN)でこの問題に対処する。 また、PyTorchベースのSRNでプラグインとプレイのレンダリングを可能にする、オープンソースのニューラルボリュームレンダリングアプリケーションもリリースしています。
  論文  参考訳（メタデータ） (2023-07-16T19:36:19Z)
• Progressive Fourier Neural Representation for Sequential Video Compilation [75.43041679717376]
  連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。 本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。 我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
  論文  参考訳（メタデータ） (2023-06-20T06:02:19Z)
• Deep Learning on Implicit Neural Representations of Shapes [14.596732196310978]
  Inlicit Neural Representations (INR) は、様々な信号を継続的にエンコードする強力なツールとして登場した。 本稿では,入力INRに対して,単一の推論パスでコンパクトな潜在表現を計算可能なフレームワークであるinr2vecを提案する。 Inr2vecは入力INRによって表現される3次元形状を効果的に埋め込み、どのようにして生成された埋め込みをディープラーニングパイプラインに供給できるかを示す。
  論文  参考訳（メタデータ） (2023-02-10T18:55:49Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• Coordinate Translator for Learning Deformable Medical Image Registration [15.057534618761268]
  我々は,CNNエンコーダから抽出した階層的特徴を持つ複数のCoTrを用いた新しい変形可能な登録ネットワークim2gridを提案する。 我々は、im2gridを最先端のDL法と非DL法と比較し、教師なし3次元磁気共鳴画像の登録を行う。 実験の結果,Im2gridは定性的・定量的にこれらの手法より優れていた。
  論文  参考訳（メタデータ） (2022-03-05T21:23:03Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• When CNNs Meet Random RNNs: Towards Multi-Level Analysis for RGB-D Object and Scene Recognition [10.796613905980609]
  オブジェクトおよびシーン認識タスクのための多モードRGB-D画像から識別的特徴表現を抽出する新しいフレームワークを提案する。 CNNアクティベーションの高次元性に対応するため、ランダムな重み付けプール方式が提案されている。 実験では、RNNステージにおける完全ランダム化構造がCNNアクティベーションを符号化し、識別的ソリッドな特徴を成功させることを確認した。
  論文  参考訳（メタデータ） (2020-04-26T10:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。