論文の概要: Meta-Learning Sparse Compression Networks

• arxiv url: http://arxiv.org/abs/2205.08957v1
• Date: Wed, 18 May 2022 14:31:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-05-19 12:16:23.277601
• Title: Meta-Learning Sparse Compression Networks
• Title（参考訳）: メタラーニングスパース圧縮ネットワーク
• Authors: Jonathan Richard Schwarz and Yee Whye Teh
• Abstract要約: 近年のDeep Learningの研究は、座標空間から基礎となる連続信号への写像としてのデータ表現を再定義している。 Inlicit Neural Representation (INRs) に関する最近の研究は、アーキテクチャ探索に注意を払って、INRが確立された圧縮手法より優れていることを示した。
• 参考スコア（独自算出の注目度）: 44.30642520752235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work in Deep Learning has re-imagined the representation of data as functions mapping from a coordinate space to an underlying continuous signal. When such functions are approximated by neural networks this introduces a compelling alternative to the more common multi-dimensional array representation. Recent work on such Implicit Neural Representations (INRs) has shown that - following careful architecture search - INRs can outperform established compression methods such as JPEG (e.g. Dupont et al., 2021). In this paper, we propose crucial steps towards making such ideas scalable: Firstly, we employ stateof-the-art network sparsification techniques to drastically improve compression. Secondly, introduce the first method allowing for sparsification to be employed in the inner-loop of commonly used Meta-Learning algorithms, drastically improving both compression and the computational cost of learning INRs. The generality of this formalism allows us to present results on diverse data modalities such as images, manifolds, signed distance functions, 3D shapes and scenes, several of which establish new state-of-the-art results.
• Abstract（参考訳）: 近年のDeep Learningの研究は、座標空間から基礎となる連続信号への写像としてのデータ表現を再定義している。 このような関数がニューラルネットワークによって近似されると、より一般的な多次元配列表現に代わる魅力的な代替となる。 Inlicit Neural Representations (INRs) の最近の研究は、アーキテクチャ検索に注意を払って、JPEG(Dupont et al., 2021)のような既存の圧縮手法よりも優れた性能を発揮することを示した。 本稿では,このようなアイデアをスケーラブルにするための重要なステップを提案する。まず,最先端のネットワークスペーシフィケーション技術を用いて,圧縮を大幅に改善する。 第二に、一般的なメタラーニングアルゴリズムの内ループにスペーシフィケーションを適用可能な最初の方法を導入し、圧縮とINR学習の計算コストを大幅に改善した。 この形式主義の一般化により,画像,多様体,符号付き距離関数,3次元形状,シーンなどの多種多様なデータモダリティに関する結果が提示され,その中から新たな最先端の成果が得られた。

関連論文リスト

• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression [59.58879331876508]
  全方向画像の表現モデルの学習について検討し、全方向画像の深層学習モデルで使用される数学的ツールを再定義するために、HEALPixの球面一様サンプリングの特性を利用することを提案する。 提案したオン・ザ・スフィア・ソリューションは、等方形画像に適用された類似の学習モデルと比較して、13.7%のビットレートを節約できる圧縮ゲインを向上させる。
  論文  参考訳（メタデータ） (2021-07-19T22:14:30Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
  本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。 変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。 我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。 提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
  論文  参考訳（メタデータ） (2020-10-03T12:41:51Z)
• Sparse Coding Driven Deep Decision Tree Ensembles for Nuclear Segmentation in Digital Pathology Images [15.236873250912062]
  デジタル病理画像セグメンテーションタスクにおいて、ディープニューラルネットワークと高い競争力を持つ、容易に訓練されながら強力な表現学習手法を提案する。 ScD2TEと略すこの手法はスパースコーディング駆動の深層決定木アンサンブルと呼ばれ、表現学習の新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-13T02:59:31Z)
• Co-occurrence of deep convolutional features for image search [9.030769176986057]
  画像検索は、事前訓練された畳み込みニューラルネットワーク(CNN)の深い特徴を用いて取り組むことができる 我々は、この最後の畳み込み層から付加的な関連情報を抽出するために、深層畳み込み特徴から共起物の新しい表現を提案する。
  論文  参考訳（メタデータ） (2020-03-30T21:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。