論文の概要: Improved Implicity Neural Representation with Fourier Bases Reparameterized Training

• arxiv url: http://arxiv.org/abs/2401.07402v2
• Date: Thu, 18 Jan 2024 05:33:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 13:28:33.542276
• Title: Improved Implicity Neural Representation with Fourier Bases Reparameterized Training
• Title（参考訳）: フーリエベース再パラメータ化トレーニングによる暗黙的神経表現の改善
• Authors: Kexuan Shi and Xingyu Zhou and Shuhang Gu
• Abstract要約: Inlicit Neural Representation (INR)は、近年様々なコンピュータビジョンタスクにおいて、強力な表現パラダイムとして成功している。 既存の手法では、INRの精度を向上させるため、位置符号化や周期的アクティベーション関数といった高度な手法が研究されている。
• 参考スコア（独自算出の注目度）: 24.657274799534292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit Neural Representation (INR) as a mighty representation paradigm has achieved success in various computer vision tasks recently. Due to the low-frequency bias issue of vanilla multi-layer perceptron (MLP), existing methods have investigated advanced techniques, such as positional encoding and periodic activation function, to improve the accuracy of INR. In this paper, we connect the network training bias with the reparameterization technique and theoretically prove that weight reparameterization could provide us a chance to alleviate the spectral bias of MLP. Based on our theoretical analysis, we propose a Fourier reparameterization method which learns coefficient matrix of fixed Fourier bases to compose the weights of MLP. We evaluate the proposed Fourier reparameterization method on different INR tasks with various MLP architectures, including vanilla MLP, MLP with positional encoding and MLP with advanced activation function, etc. The superiority approximation results on different MLP architectures clearly validate the advantage of our proposed method. Armed with our Fourier reparameterization method, better INR with more textures and less artifacts can be learned from the training data.
• Abstract（参考訳）: Inlicit Neural Representation (INR)は、近年様々なコンピュータビジョンタスクにおいて、強力な表現パラダイムとして成功している。 バニラ多層パーセプトロン(MLP)の低周波バイアス問題により、位置符号化や周期的アクティベーション関数といった高度な技術を用いてINRの精度を向上させる方法が研究されている。 本稿では,ネットワークトレーニングバイアスと再パラメータ化手法を結合し,重み付け再パラメータ化がMDPのスペクトルバイアスを軽減することができることを理論的に証明する。 理論解析に基づき,固定されたフーリエ基底の係数行列を学習し,MLPの重みを構成するフーリエ再パラメータ化法を提案する。 本稿では,バニラ型MLP,位置符号化型MLP,高度なアクティベーション機能付きMLPなど,様々なMLPアーキテクチャを用いたINRタスクに対するフーリエ再パラメータ化手法の評価を行った。 異なるMLPアーキテクチャ上での優越性近似は,提案手法の利点を明らかに証明する。 フーリエのパラメータ化手法によって、より多くのテクスチャと少ないアーティファクトを持つより優れたINRをトレーニングデータから学べる。

関連論文リスト

• Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations [17.832898905413877]
  Inlicit Neural Representations (INR)は様々なコンピュータタスクで成功している。 バニラ多層パーセプトロン(MLP)のスペクトルバイアスのため、既存の手法は高度なアーキテクチャを使った設計や、高精度なINRのためのトレーニング技術の再開発に重点を置いている。 本稿では,eNTKに基づく勾配変換行列の帰納的一般化により,スペクトルバイアスを意図的に改善する実用的な勾配調整法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T06:51:10Z)
• Leveraging FourierKAN Classification Head for Pre-Trained Transformer-based Text Classification [0.51795041186793]
  我々は、トランスフォーマーベースのエンコーダの分類ヘッドとして、KAN(Kolmogorov-Arnold Networks)と呼ばれる有望な代替手段の亜種FR-KANを紹介する。 本研究は, トランスフォーマーをベースとした事前学習モデルではなく, 従来の頭部を組み込んだ場合, F1スコアの平均精度が10%, F1スコアが11%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T15:28:02Z)
• Nonparametric Teaching of Implicit Neural Representations [21.313485818701434]
  オーバーパラメトリック化された多層パーセプトロンは、非パラメトリック学習者の教育と整合性を示す。 この新たな発見により、非パラメトリック学習アルゴリズムの便利なドロップインにより、INRトレーニングの効率が広く向上し、様々な入力モードで30%以上のトレーニング時間を節約できる。
  論文  参考訳（メタデータ） (2024-05-17T04:20:39Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [79.67071790034609]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features [73.25551965751603]
  我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。 量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。 本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-04T17:24:47Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)
• Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains [69.62456877209304]
  単純なフーリエ特徴写像を通して入力点を渡すことで、多層パーセプトロンが高周波関数を学習できることを示す。 結果は、最先端の結果を達成するコンピュータビジョンとグラフィックの進歩に光を当てた。
  論文  参考訳（メタデータ） (2020-06-18T17:59:11Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。