論文の概要: Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by
Tracing their Contributions
- arxiv url: http://arxiv.org/abs/2401.10217v1
- Date: Thu, 18 Jan 2024 18:57:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 15:22:09.494362
- Title: Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by
Tracing their Contributions
- Title(参考訳): 暗黙のニューラルキャンバスを説明する: その貢献をトレースしてピクセルとニューロンをつなぐ
- Authors: Namitha Padmanabhan, Matthew Gwilliam, Pulkit Kumar, Shishira R Maiya,
Max Ehrlich, Abhinav Shrivastava
- Abstract要約: Implicit Neural Representation (INR) は、信号の連続表現として訓練されたニューラルネットワークである。
我々の研究は、各ニューロンの出力画素への寄与の強さを調べることによって、INRの特性を説明する統一的な枠組みである。
- 参考スコア(独自算出の注目度): 38.58211276684994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The many variations of Implicit Neural Representations (INRs), where a neural
network is trained as a continuous representation of a signal, have tremendous
practical utility for downstream tasks including novel view synthesis, video
compression, and image superresolution. Unfortunately, the inner workings of
these networks are seriously under-studied. Our work, eXplaining the Implicit
Neural Canvas (XINC), is a unified framework for explaining properties of INRs
by examining the strength of each neuron's contribution to each output pixel.
We call the aggregate of these contribution maps the Implicit Neural Canvas and
we use this concept to demonstrate that the INRs which we study learn to
''see'' the frames they represent in surprising ways. For example, INRs tend to
have highly distributed representations. While lacking high-level object
semantics, they have a significant bias for color and edges, and are almost
entirely space-agnostic. We arrive at our conclusions by examining how objects
are represented across time in video INRs, using clustering to visualize
similar neurons across layers and architectures, and show that this is
dominated by motion. These insights demonstrate the general usefulness of our
analysis framework. Our project page is available at
https://namithap10.github.io/xinc.
- Abstract(参考訳): ニューラルネットワークが信号の連続的な表現として訓練されるインプリシトニューラルネットワーク表現(INR)の多くのバリエーションは、新しいビュー合成、ビデオ圧縮、画像超解像といった下流のタスクに極めて実用的である。
残念なことに、これらのネットワークの内部構造は、あまり研究されていない。
我々の研究であるeXplaining the Implicit Neural Canvas (XINC)は、各ニューロンの出力画素への寄与の強さを調べることによって、INRの特性を説明する統一的なフレームワークである。
これらのコントリビューションの集合をImplicit Neural Canvasと呼び、この概念を使って、私たちが研究しているINRが、それらが驚くべき方法で表すフレームを「見る」ことを学ぶことを実証します。
例えば、INRは高度に分散した表現を持つ傾向がある。
高レベルのオブジェクトセマンティクスを欠いているが、色とエッジには大きなバイアスがあり、ほとんど完全に空間に依存しない。
ビデオインサーでオブジェクトが時間にまたがってどのように表現され、クラスタリングを使ってレイヤやアーキテクチャにまたがる類似したニューロンを視覚化し、これが運動によって支配されていることを示すことで、結論に到達しました。
これらの知見は分析フレームワークの汎用性を示している。
私たちのプロジェクトページはhttps://namithap10.github.io/xincで閲覧できます。
関連論文リスト
- NeRN -- Learning Neural Representations for Neural Networks [3.7384109981836153]
ニューラルネットワークを正しく適応させると、トレーニング済みの畳み込みニューラルネットワークの重みを表現できる。
従来のニューラル表現法の入力の座標にインスパイアされ、ネットワーク内の各畳み込みカーネルに座標を割り当てる。
我々は、NeRNを用いて学習した表現の能力を実証する2つのアプリケーションを提案する。
論文 参考訳(メタデータ) (2022-12-27T17:14:44Z) - Signal Processing for Implicit Neural Representations [80.38097216996164]
Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。
既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。
本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
論文 参考訳(メタデータ) (2022-10-17T06:29:07Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳(メタデータ) (2022-07-08T05:07:19Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Neural Knitworks: Patched Neural Implicit Representation Networks [0.5772546394254112]
画像合成を実現する自然画像の暗黙的表現学習のためのアーキテクチャであるKnitworkを提案する。
私たちの知る限りでは、画像のインペインティング、超解像化、デノイングといった合成作業に適した座標ベースのパッチの実装は、これが初めてである。
その結果, ピクセルではなくパッチを用いた自然な画像のモデリングにより, 忠実度が高い結果が得られた。
論文 参考訳(メタデータ) (2021-09-29T13:10:46Z) - Neural Body: Implicit Neural Representations with Structured Latent
Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。
異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。
ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-12-31T18:55:38Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳(メタデータ) (2020-09-10T17:59:10Z) - The Representation Theory of Neural Networks [7.724617675868718]
ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。
ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。
また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
論文 参考訳(メタデータ) (2020-07-23T19:02:14Z) - A new approach to descriptors generation for image retrieval by
analyzing activations of deep neural network layers [43.77224853200986]
本稿では,ディープニューラルネットワークを用いたコンテンツベース画像検索作業における記述子構築の問題点について考察する。
ネットワークの畳み込み部分のニューロンの総数は多く、その大部分が最終分類決定にほとんど影響を与えないことが知られている。
本稿では,最も重要なニューロン活性化を抽出し,その情報を利用して効果的な記述子を構築する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:53:10Z) - Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。
LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。
実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
論文 参考訳(メタデータ) (2020-07-12T23:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。