論文の概要: Encoding Semantic Priors into the Weights of Implicit Neural Representation

• arxiv url: http://arxiv.org/abs/2406.04178v1
• Date: Thu, 6 Jun 2024 15:35:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 14:10:28.873200
• Title: Encoding Semantic Priors into the Weights of Implicit Neural Representation
• Title（参考訳）: 意味的先行表現を暗黙的神経表現の重みに符号化する
• Authors: Zhicheng Cai, Qiu Shen,
• Abstract要約: Inlicit Neural representation (INR) は近年,信号表現の有望なパラダイムとして浮上している。 本稿では,INRの重みに先行する意味をエンコードするSPWと呼ばれるreパラメータ化手法を提案する。 実験の結果,SPWは様々なタスクにおいて,様々なINRモデルの性能を大幅に向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 6.057991864861226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representation (INR) has recently emerged as a promising paradigm for signal representations, which takes coordinates as inputs and generates corresponding signal values. Since these coordinates contain no semantic features, INR fails to take any semantic information into consideration. However, semantic information has been proven critical in many vision tasks, especially for visual signal representation. This paper proposes a reparameterization method termed as SPW, which encodes the semantic priors to the weights of INR, thus making INR contain semantic information implicitly and enhancing its representational capacity. Specifically, SPW uses the Semantic Neural Network (SNN) to extract both low- and high-level semantic information of the target visual signal and generates the semantic vector, which is input into the Weight Generation Network (WGN) to generate the weights of INR model. Finally, INR uses the generated weights with semantic priors to map the coordinates to the signal values. After training, we only retain the generated weights while abandoning both SNN and WGN, thus SPW introduces no extra costs in inference. Experimental results show that SPW can improve the performance of various INR models significantly on various tasks, including image fitting, CT reconstruction, MRI reconstruction, and novel view synthesis. Further experiments illustrate that model with SPW has lower weight redundancy and learns more novel representations, validating the effectiveness of SPW.
• Abstract（参考訳）: Inlicit Neural representation (INR) は、最近信号表現のための有望なパラダイムとして登場し、座標を入力として取り、対応する信号値を生成する。 これらの座標には意味的特徴がないため、INRは意味的な情報を考慮に入れない。 しかし、セマンティック情報は多くの視覚的タスク、特に視覚信号表現において批判的であることが証明されている。 本稿では,INRの重みに先立って意味を符号化し,INRに意味情報を暗黙的に含み,表現能力を高めるSPWと呼ばれる再パラメータ化手法を提案する。 具体的には、セマンティックニューラルネットワーク(SNN)を用いて、ターゲット視覚信号の低レベルと高レベルの両方の意味情報を抽出し、重み生成ネットワーク(WGN)に入力された意味ベクトルを生成し、INRモデルの重みを生成する。 最後に、INRは生成した重みとセマンティックプライドを使用して、座標を信号値にマッピングする。 トレーニング後、私たちはSNNとWGNの両方を放棄しながら生成した重量しか保持しないため、SPWは推論に余分なコストを伴わない。 実験の結果,SPWは画像適合性,CT再構成,MRI再構成,新しいビュー合成など,様々なタスクにおいて,INRモデルの性能を著しく向上させることができることがわかった。 さらなる実験では、SPWを用いたモデルは重量冗長性が低く、より新しい表現を学習し、SPWの有効性を検証する。

関連論文リスト

• Towards Croppable Implicit Neural Representations [9.372436024276828]
  Inlicit Neural Representations(INR)は、ニューラルネットワークを使って自然信号をエンコードする能力により、近年注目されている。 本稿では、編集可能なINRのアイデアを探求し、特に広く使われている収穫作業に焦点を当てる。 デザインによる収穫を支援する新しいINRアーキテクチャであるLocal-Global SIRENsを紹介する。
  論文  参考訳（メタデータ） (2024-09-28T22:41:49Z)
• Single-Layer Learnable Activation for Implicit Neural Representation (SL$^{2}$A-INR) [6.572456394600755]
  ニューラルネットワークを利用して、座標入力を対応する属性に変換するインプシット表現(INR)は、視覚関連領域において大きな進歩をもたらした。 SL$2$A-INR を単層学習可能なアクティベーション関数として提案し,従来の ReLU ベースの有効性を推し進める。 提案手法は,画像表現,3次元形状再構成,単一画像超解像,CT再構成,新しいビューなど,多様なタスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T02:02:15Z)
• Noise-Resilient Unsupervised Graph Representation Learning via Multi-Hop Feature Quality Estimation [53.91958614666386]
  グラフニューラルネットワーク(GNN)に基づく教師なしグラフ表現学習(UGRL) マルチホップ特徴量推定(MQE)に基づく新しいUGRL法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T12:24:28Z)
• INCODE: Implicit Neural Conditioning with Prior Knowledge Embeddings [4.639495398851869]
  Inlicit Neural Representation (INR)は、複雑なデータの連続的かつ滑らかな表現を提供するためにニューラルネットワークを活用することで、信号表現に革命をもたらした。 InCODEは、深い事前知識を用いて、INRにおける正弦波ベースの活性化関数の制御を強化する新しいアプローチである。 提案手法は表現力に優れるだけでなく,音声,画像,3次元形状復元などの複雑な課題に対処する能力も拡張している。
  論文  参考訳（メタデータ） (2023-10-28T23:16:49Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Towards Lightweight Controllable Audio Synthesis with Conditional Implicit Neural Representations [10.484851004093919]
  入射神経表現(英語: Implicit Neural representations、INR)は、低次元関数を近似するニューラルネットワークである。 本研究では、音声合成のための生成フレームワークの軽量バックボーンとして、CINR(Conditional Implicit Neural Representations)の可能性に光を当てた。
  論文  参考訳（メタデータ） (2021-11-14T13:36:18Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。