論文の概要: Attention Beats Linear for Fast Implicit Neural Representation Generation

• arxiv url: http://arxiv.org/abs/2407.15355v1
• Date: Mon, 22 Jul 2024 03:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 16:10:42.918653
• Title: Attention Beats Linear for Fast Implicit Neural Representation Generation
• Title（参考訳）: 高速入射ニューラル表現生成のためのアテンションビートリニア
• Authors: Shuyi Zhang, Ke Liu, Jingjun Gu, Xiaoxu Cai, Zhihua Wang, Jiajun Bu, Haishuai Wang,
• Abstract要約: 本稿では,局所的注意層(LAL)と大域的表現ベクトルからなる注意型局所INR(ANR)を提案する。 インスタンス固有の表現とインスタンスに依存しないANRパラメータにより、ターゲット信号は連続関数として十分に再構成される。
• 参考スコア（独自算出の注目度）: 13.203243059083533
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Implicit Neural Representation (INR) has gained increasing popularity as a data representation method, serving as a prerequisite for innovative generation models. Unlike gradient-based methods, which exhibit lower efficiency in inference, the adoption of hyper-network for generating parameters in Multi-Layer Perceptrons (MLP), responsible for executing INR functions, has surfaced as a promising and efficient alternative. However, as a global continuous function, MLP is challenging in modeling highly discontinuous signals, resulting in slow convergence during the training phase and inaccurate reconstruction performance. Moreover, MLP requires massive representation parameters, which implies inefficiencies in data representation. In this paper, we propose a novel Attention-based Localized INR (ANR) composed of a localized attention layer (LAL) and a global MLP that integrates coordinate features with data features and converts them to meaningful outputs. Subsequently, we design an instance representation framework that delivers a transformer-like hyper-network to represent data instances as a compact representation vector. With instance-specific representation vector and instance-agnostic ANR parameters, the target signals are well reconstructed as a continuous function. We further address aliasing artifacts with variational coordinates when obtaining the super-resolution inference results. Extensive experimentation across four datasets showcases the notable efficacy of our ANR method, e.g. enhancing the PSNR value from 37.95dB to 47.25dB on the CelebA dataset. Code is released at https://github.com/Roninton/ANR.
• Abstract（参考訳）: Inlicit Neural Representation (INR) はデータ表現法として人気を博し、革新的な生成モデルの前提条件となっている。 推論の効率を低下させる勾配に基づく手法とは異なり、INR関数の実行に責任を持つMulti-Layer Perceptrons (MLP) におけるパラメータ生成のためのハイパーネットワークの採用は、有望で効率的な代替手段として浮上している。 しかし、グローバルな連続関数として、MLPは高度に不連続な信号のモデリングに挑戦し、トレーニングフェーズの収束が遅くなり、復元性能が不正確になる。 さらに、MLPはデータ表現の不効率を意味する巨大な表現パラメータを必要とする。 本稿では,Attention-based Localized INR (ANR) を新たに提案し,LAL(Localized attention layer) と,データ特徴と座標特徴を統合して有意義な出力に変換するグローバルMLPを提案する。 その後、データインスタンスをコンパクトな表現ベクトルとして表現するために、トランスフォーマーのようなハイパーネットワークを提供するインスタンス表現フレームワークを設計する。 インスタンス固有の表現ベクトルとインスタンスに依存しないANRパラメータにより、ターゲット信号は連続関数として十分に再構成される。 さらに,超解像推論結果を得る際に,アリアス化アーティファクトを変動座標で処理する。 4つのデータセットにわたる大規模な実験は、我々のANR法の顕著な有効性を示し、例えば、CelebAデータセット上のPSNR値を37.95dBから47.25dBに拡張する。 コードはhttps://github.com/Roninton/ANR.comで公開されている。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Conv-INR: Convolutional Implicit Neural Representation for Multimodal Visual Signals [2.7195102129095003]
  Inlicit Neural representation (INR) は近年,信号表現の有望なパラダイムとして浮上している。 本稿では,畳み込みに基づく最初のINRモデルであるConv-INRを提案する。
  論文  参考訳（メタデータ） (2024-06-06T16:52:42Z)
• FFEINR: Flow Feature-Enhanced Implicit Neural Representation for Spatio-temporal Super-Resolution [4.577685231084759]
  本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。 モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。 FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
  論文  参考訳（メタデータ） (2023-08-24T02:28:18Z)
• HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural Representations via Knowledge Distillation [31.44962361819199]
  Inlicit Neural Representations (INRs)は近年、科学的可視化の分野で大きな可能性を秘めている。 本稿では,コンパクトINRの重みを直接予測できる新しいハイパーネットワークアーキテクチャであるHyperINRを紹介する。 多分解能ハッシュ符号化ユニットのアンサンブルを一斉に利用することにより、INRは最先端の推論性能を得る。
  論文  参考訳（メタデータ） (2023-04-09T08:10:10Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• Transformers as Meta-Learners for Implicit Neural Representations [10.673855995948736]
  Inlicit Neural Representations (INRs) は近年、離散表現よりもその利点を示してきた。 InRのハイパーネットとしてTransformerを利用する定式化を提案し,INRの重みの集合を直接構築する。 本稿では,3次元オブジェクトに対する2次元画像回帰とビュー合成を含む,異なるタスクや領域でINRを構築するための手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-08-04T17:54:38Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• Neural BRDF Representation and Importance Sampling [79.84316447473873]
  本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。 BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。 複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
  論文  参考訳（メタデータ） (2021-02-11T12:00:24Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。