論文の概要: MoEC: Mixture of Experts Implicit Neural Compression

• arxiv url: http://arxiv.org/abs/2312.01361v1
• Date: Sun, 3 Dec 2023 12:02:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 17:45:57.467150
• Title: MoEC: Mixture of Experts Implicit Neural Compression
• Title（参考訳）: moec: 専門家による暗黙の神経圧縮の混合
• Authors: Jianchen Zhao, Cheng-Ching Tseng, Ming Lu, Ruichuan An, Xiaobao Wei, He Sun, Shanghang Zhang
• Abstract要約: 本稿では,専門家の混合理論に基づく新しい暗黙的ニューラル圧縮手法であるMoECを提案する。 具体的には、ゲーティングネットワークを使用して、シーン内の3Dポイントに特定のINRを自動的に割り当てる。 ブロックワイズやツリー構造化のパーティションと比較すると、学習可能なパーティションはエンドツーエンドで最適なパーティションを適応的に見つけることができます。
• 参考スコア（独自算出の注目度）: 25.455216041289432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging Implicit Neural Representation (INR) is a promising data compression technique, which represents the data using the parameters of a Deep Neural Network (DNN). Existing methods manually partition a complex scene into local regions and overfit the INRs into those regions. However, manually designing the partition scheme for a complex scene is very challenging and fails to jointly learn the partition and INRs. To solve the problem, we propose MoEC, a novel implicit neural compression method based on the theory of mixture of experts. Specifically, we use a gating network to automatically assign a specific INR to a 3D point in the scene. The gating network is trained jointly with the INRs of different local regions. Compared with block-wise and tree-structured partitions, our learnable partition can adaptively find the optimal partition in an end-to-end manner. We conduct detailed experiments on massive and diverse biomedical data to demonstrate the advantages of MoEC against existing approaches. In most of experiment settings, we have achieved state-of-the-art results. Especially in cases of extreme compression ratios, such as 6000x, we are able to uphold the PSNR of 48.16.
• Abstract（参考訳）: Emerging Implicit Neural Representation (INR) は、Deep Neural Network (DNN) のパラメータを用いてデータを表現する、有望なデータ圧縮技術である。 既存のメソッドは複雑なシーンを手動でローカルリージョンに分割し、INRをそれらのリージョンにオーバーフィットする。 しかし、複雑なシーンのパーティションスキームを手動で設計するのは非常に困難であり、パーティションとINRを共同で学習することができない。 そこで本研究では,専門家の混合理論に基づく新しい暗黙的ニューラル圧縮手法であるMoECを提案する。 具体的には、ゲーティングネットワークを使用して、シーン内の3Dポイントに特定のINRを自動的に割り当てる。 ゲーティングネットワークは、異なる地域のINRと共同で訓練されている。 ブロック分割やツリー分割と比較して、学習可能なパーティションは、エンドツーエンドで最適なパーティションを適応的に見つけることができます。 既存のアプローチに対するMoECの利点を実証するために, 大規模かつ多様なバイオメディカルデータに関する詳細な実験を行った。 実験のほとんどにおいて、私たちは最先端の結果を得ました。 特に6000xのような極端な圧縮比の場合、PSNRは48.16である。

関連論文リスト

• Neural Experts: Mixture of Experts for Implicit Neural Representations [41.395193251292895]
  入射神経表現(INR)は、画像、形状、音声、ビデオ再構成など様々なタスクで有効であることが証明されている。 本稿では,局所的な部分的連続関数の学習を可能にする暗黙的ニューラル表現手法(MoE)の混合を提案する。 既存のINRの定式化に専門家アーキテクチャを混在させることで,高速化,精度,メモリ要件が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-29T01:11:25Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• ECNR: Efficient Compressive Neural Representation of Time-Varying Volumetric Datasets [6.3492793442257085]
  圧縮型ニューラル表現は、大量のデータセットを管理する従来の圧縮方法に代わる有望な代替手段として登場した。 本稿では、時間変化データ圧縮のための効率的なニューラル表現(ECNR)ソリューションを提案する。 複数のデータセットでECNRの有効性を示し、それを最先端の圧縮手法と比較する。
  論文  参考訳（メタデータ） (2023-10-02T06:06:32Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• TINC: Tree-structured Implicit Neural Compression [30.26398911800582]
  Inlicit Neural representation (INR) は、少数のパラメータを用いて、高い忠実度でターゲットシーンを記述することができる。 予備研究は、対象データにおける大域的あるいは局所的な相関のみを利用することができる。 本稿では,局所領域に対してコンパクトな表現を行うために,TINC(Tree-structured Implicit Neural Compression)を提案する。
  論文  参考訳（メタデータ） (2022-11-12T15:39:07Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Partition-Guided GANs [63.980473635585234]
  私たちは、スペースを小さな領域に分割し、それぞれがよりシンプルな分布を持ち、各パーティションごとに異なるジェネレータを訓練するパーティションーを設計します。 これはラベルを必要とせずに教師なしの方法で実行される。 各種標準ベンチマーク実験の結果,提案手法が近年の手法を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-04-02T00:06:53Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。