論文の概要: Fully invertible hyperbolic neural networks for segmenting large-scale surface and sub-surface data
- arxiv url: http://arxiv.org/abs/2407.00595v1
- Date: Sun, 30 Jun 2024 05:35:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:26:49.452618
- Title: Fully invertible hyperbolic neural networks for segmenting large-scale surface and sub-surface data
- Title（参考訳）: 大規模表面データと地下データのセグメンテーションのための完全可逆双曲型ニューラルネットワーク
- Authors: Bas Peters, Eldad Haber, Keegan Lensink,
- Abstract要約: 本稿では,電信方程式に基づく完全可逆ネットワークについて述べる。
完全可逆ネットワークと畳み込みカーネルを含む層を直接圧縮形式で結合することにより、畳み込みカーネルの爆発に対処する。
超スペクトル土地利用分類、空中物理探査、および地震探査の例は、1チャンクで大きなデータ量を入力でき、小さなパッチで作業する必要がないことを示している。
- 参考スコア（独自算出の注目度）: 4.1579007112499315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The large spatial/temporal/frequency scale of geoscience and remote-sensing datasets causes memory issues when using convolutional neural networks for (sub-) surface data segmentation. Recently developed fully reversible or fully invertible networks can mostly avoid memory limitations by recomputing the states during the backward pass through the network. This results in a low and fixed memory requirement for storing network states, as opposed to the typical linear memory growth with network depth. This work focuses on a fully invertible network based on the telegraph equation. While reversibility saves the major amount of memory used in deep networks by the data, the convolutional kernels can take up most memory if fully invertible networks contain multiple invertible pooling/coarsening layers. We address the explosion of the number of convolutional kernels by combining fully invertible networks with layers that contain the convolutional kernels in a compressed form directly. A second challenge is that invertible networks output a tensor the same size as its input. This property prevents the straightforward application of invertible networks to applications that map between different input-output dimensions, need to map to outputs with more channels than present in the input data, or desire outputs that decrease/increase the resolution compared to the input data. However, we show that by employing invertible networks in a non-standard fashion, we can still use them for these tasks. Examples in hyperspectral land-use classification, airborne geophysical surveying, and seismic imaging illustrate that we can input large data volumes in one chunk and do not need to work on small patches, use dimensionality reduction, or employ methods that classify a patch to a single central pixel.
- Abstract（参考訳）: 地科学とリモートセンシングデータセットの大規模な空間的・時間的・周波数的スケールは、(サブ)表面データセグメンテーションに畳み込みニューラルネットワークを使用する際のメモリ問題を引き起こす。
近年開発された完全可逆的ネットワークや完全可逆的ネットワークは、後方通過時に状態を再計算することで、主にメモリ制限を回避することができる。
これにより、ネットワーク深さの典型的な線形メモリ成長とは対照的に、ネットワーク状態を保存するための低メモリ要件と固定メモリ要件が実現される。
本研究は電信方程式に基づく完全可逆ネットワークに焦点を当てる。
可逆性は、データによって深層ネットワークで使用される大量のメモリを節約するが、畳み込みカーネルは、完全な可逆性ネットワークが複数の可逆性プーリング/粗い層を含んでいる場合、ほとんどのメモリを取り込み得る。
完全可逆ネットワークと畳み込みカーネルを含む層を直接圧縮形式で結合することにより、畳み込みカーネル数の爆発に対処する。
第二の課題は、インバータブルネットワークがその入力と同じ大きさのテンソルを出力することである。
この特性は、異なる入力出力次元の間をマッピングするアプリケーションへの可逆ネットワークの直接的な適用を防ぎ、入力データよりも多くのチャネルを持つ出力にマップする必要がある、あるいは入力データよりも解像度を減少/増加させる欲求出力を防ぎます。
しかし,非標準方式で非可逆ネットワークを利用することで,これらのタスクに使用することができることを示す。
超スペクトル土地利用分類、空中物理探査、および地震探査の例では、1チャンクで大きなデータ量を入力でき、小さなパッチで作業したり、次元的削減を使ったり、パッチを1つの中央ピクセルに分類する手法を使わなくてもよいことを示している。
関連論文リスト
- D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations [24.57801400001629]
Decoder-Only randomly Projected Hypernetwork (D'OH) による単一インスタンス信号に対する実行時暗黙関数の最適化戦略を提案する。
遅延コード次元を直接変更することにより、ニューラルネットワークの検索を犠牲にすることなく、ニューラル表現のメモリフットプリントを変更できる自然な方法を提供する。
論文 参考訳（メタデータ） (2024-03-28T06:18:12Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - Slope and generalization properties of neural networks [0.0]
十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。
傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。
本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
論文 参考訳（メタデータ） (2021-07-03T17:54:27Z) - Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
逆例は独立したガウスパラメータを持つReLUネットワークに現れる。
ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
論文 参考訳（メタデータ） (2021-06-23T18:16:34Z) - Invertible Residual Network with Regularization for Effective Medical
Image Segmentation [2.76240219662896]
バックプロパゲーションを用いたニューラルネットワークのトレーニングにおいて、アクティベーションメモリフットプリントを大幅に削減するために、可逆ニューラルネットワークが適用されている。
可逆残存ネットワーク(部分可逆残存ネットワーク, Partially-InvRes)と完全可逆残存ネットワーク(Fully-InvRes)の2つのバージョンを提案する。
この結果から,部分可逆ネットワークをボリュームセグメンテーションの中心として用いることにより,メモリオーバヘッドを削減できるだけでなく,非可逆的3d unetと同等なセグメンテーション性能を実現することができた。
論文 参考訳（メタデータ） (2021-03-16T13:19:59Z) - Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。
このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。
我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文 参考訳（メタデータ） (2021-03-05T08:45:43Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Fully reversible neural networks for large-scale surface and sub-surface
characterization via remote sensing [4.383011485317949]
ハイパースペクトルおよび空中磁気および重力データの大規模な空間/周波数スケールは、(サブ)表面のキャラクタリゼーションに畳み込みニューラルネットワークを使用する場合、メモリ問題を引き起こす。
本研究は,高スペクトル時間ラプスデータによる土地利用変化検出の例と,空中地学的・地質学的データによる地域帯水層マッピングの例を示す。
論文 参考訳（メタデータ） (2020-03-16T23:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。