論文の概要: Neural Experts: Mixture of Experts for Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2410.21643v1
• Date: Tue, 29 Oct 2024 01:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:40.508001
• Title: Neural Experts: Mixture of Experts for Implicit Neural Representations
• Title（参考訳）: ニューラルエキスパート:インシシトなニューラル表現の専門家の混在
• Authors: Yizhak Ben-Shabat, Chamin Hewa Koneputugodage, Sameera Ramasinghe, Stephen Gould,
• Abstract要約: 入射神経表現(INR)は、画像、形状、音声、ビデオ再構成など様々なタスクで有効であることが証明されている。 本稿では,局所的な部分的連続関数の学習を可能にする暗黙的ニューラル表現手法(MoE)の混合を提案する。 既存のINRの定式化に専門家アーキテクチャを混在させることで,高速化,精度,メモリ要件が向上することを示す。
• 参考スコア（独自算出の注目度）: 41.395193251292895
• License:
• Abstract: Implicit neural representations (INRs) have proven effective in various tasks including image, shape, audio, and video reconstruction. These INRs typically learn the implicit field from sampled input points. This is often done using a single network for the entire domain, imposing many global constraints on a single function. In this paper, we propose a mixture of experts (MoE) implicit neural representation approach that enables learning local piece-wise continuous functions that simultaneously learns to subdivide the domain and fit locally. We show that incorporating a mixture of experts architecture into existing INR formulations provides a boost in speed, accuracy, and memory requirements. Additionally, we introduce novel conditioning and pretraining methods for the gating network that improves convergence to the desired solution. We evaluate the effectiveness of our approach on multiple reconstruction tasks, including surface reconstruction, image reconstruction, and audio signal reconstruction and show improved performance compared to non-MoE methods.
• Abstract（参考訳）: 入射神経表現(INR)は、画像、形状、音声、ビデオ再構成など様々なタスクで有効であることが証明されている。 これらのINRは典型的にはサンプル入力点から暗黙の場を学ぶ。 これはドメイン全体に対して単一のネットワークを使用して行われることが多く、単一の関数に対して多くのグローバルな制約が課される。 本稿では,局所的な部分的連続関数を学習し,ドメインの分割と局所的な適合を同時に学習することのできる,暗黙的ニューラルネットワーク表現手法(MoE)の混合を提案する。 既存のINRの定式化に専門家アーキテクチャを混在させることで,高速化,精度,メモリ要件が向上することを示す。 さらに,所望の解に対する収束性を改善するゲーティングネットワークのための新しい条件付けと事前学習手法を導入する。 本研究では, 表面再構成, 画像再構成, 音声信号再構成など, 複数タスクに対するアプローチの有効性を評価し, 非MoE法と比較して性能が向上したことを示す。

関連論文リスト

• NeRN -- Learning Neural Representations for Neural Networks [3.7384109981836153]
  ニューラルネットワークを正しく適応させると、トレーニング済みの畳み込みニューラルネットワークの重みを表現できる。 従来のニューラル表現法の入力の座標にインスパイアされ、ネットワーク内の各畳み込みカーネルに座標を割り当てる。 我々は、NeRNを用いて学習した表現の能力を実証する2つのアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-12-27T17:14:44Z)
• Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
  既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。 このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
  論文  参考訳（メタデータ） (2021-10-26T03:28:36Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Self-Organized Operational Neural Networks for Severe Image Restoration Problems [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)に基づく離散学習は、ノイズとクリーンのイメージペアのトレーニング例から学習することで、画像復元を行うことを目的としている。 これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。 画像復元のための自己組織型ONN(Self-ONN)を提案する。
  論文  参考訳（メタデータ） (2020-08-29T02:19:41Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Joint Frequency and Image Space Learning for MRI Reconstruction and Analysis [7.821429746599738]
  本稿では、周波数空間データから再構成するための汎用的なビルディングブロックとして、周波数と画像の特徴表現を明示的に組み合わせたニューラルネットワーク層が利用できることを示す。 提案した共同学習方式により、周波数空間に固有のアーティファクトの補正と画像空間表現の操作を両立させ、ネットワークのすべての層でコヒーレントな画像構造を再構築することができる。
  論文  参考訳（メタデータ） (2020-07-02T23:54:46Z)
• Geometric Approaches to Increase the Expressivity of Deep Neural Networks for MR Reconstruction [41.62169556793355]
  高速磁気共鳴画像(MRI)取得による画像再構成には,ディープラーニングのアプローチが広く研究されている。 ネットワークの複雑さとパフォーマンスのトレードオフをバランスさせるために、適切なネットワークアーキテクチャを選択する方法が明確ではない。 本稿では,ブートストラップとサブネットワークアグリゲーションを用いて,ニューラルネットワークの表現性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-17T14:18:37Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。