論文の概要: Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by Tracing their Contributions

• arxiv url: http://arxiv.org/abs/2401.10217v1
• Date: Thu, 18 Jan 2024 18:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 15:22:09.494362
• Title: Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by Tracing their Contributions
• Title（参考訳）: 暗黙のニューラルキャンバスを説明する: その貢献をトレースしてピクセルとニューロンをつなぐ
• Authors: Namitha Padmanabhan, Matthew Gwilliam, Pulkit Kumar, Shishira R Maiya, Max Ehrlich, Abhinav Shrivastava
• Abstract要約: Implicit Neural Representation (INR) は、信号の連続表現として訓練されたニューラルネットワークである。 我々の研究は、各ニューロンの出力画素への寄与の強さを調べることによって、INRの特性を説明する統一的な枠組みである。
• 参考スコア（独自算出の注目度）: 38.58211276684994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The many variations of Implicit Neural Representations (INRs), where a neural network is trained as a continuous representation of a signal, have tremendous practical utility for downstream tasks including novel view synthesis, video compression, and image superresolution. Unfortunately, the inner workings of these networks are seriously under-studied. Our work, eXplaining the Implicit Neural Canvas (XINC), is a unified framework for explaining properties of INRs by examining the strength of each neuron's contribution to each output pixel. We call the aggregate of these contribution maps the Implicit Neural Canvas and we use this concept to demonstrate that the INRs which we study learn to ''see'' the frames they represent in surprising ways. For example, INRs tend to have highly distributed representations. While lacking high-level object semantics, they have a significant bias for color and edges, and are almost entirely space-agnostic. We arrive at our conclusions by examining how objects are represented across time in video INRs, using clustering to visualize similar neurons across layers and architectures, and show that this is dominated by motion. These insights demonstrate the general usefulness of our analysis framework. Our project page is available at https://namithap10.github.io/xinc.
• Abstract（参考訳）: ニューラルネットワークが信号の連続的な表現として訓練されるインプリシトニューラルネットワーク表現(INR)の多くのバリエーションは、新しいビュー合成、ビデオ圧縮、画像超解像といった下流のタスクに極めて実用的である。 残念なことに、これらのネットワークの内部構造は、あまり研究されていない。 我々の研究であるeXplaining the Implicit Neural Canvas (XINC)は、各ニューロンの出力画素への寄与の強さを調べることによって、INRの特性を説明する統一的なフレームワークである。 これらのコントリビューションの集合をImplicit Neural Canvasと呼び、この概念を使って、私たちが研究しているINRが、それらが驚くべき方法で表すフレームを「見る」ことを学ぶことを実証します。 例えば、INRは高度に分散した表現を持つ傾向がある。 高レベルのオブジェクトセマンティクスを欠いているが、色とエッジには大きなバイアスがあり、ほとんど完全に空間に依存しない。 ビデオインサーでオブジェクトが時間にまたがってどのように表現され、クラスタリングを使ってレイヤやアーキテクチャにまたがる類似したニューロンを視覚化し、これが運動によって支配されていることを示すことで、結論に到達しました。 これらの知見は分析フレームワークの汎用性を示している。 私たちのプロジェクトページはhttps://namithap10.github.io/xincで閲覧できます。

関連論文リスト

• Steinmetz Neural Networks for Complex-Valued Data [23.80312814400945]
  並列実値デッツワークと結合出力からなるDNNを用いて複素値データを処理する新しい手法を提案する。 提案するアーキテクチャのクラスは、Steinmetz Neural Networksと呼ばれ、多視点学習を利用して、潜在空間内でより解釈可能な表現を構築する。 提案手法は,これらのネットワークがベンチマーク・データセットや合成例で実現した改良性能と付加雑音を示す数値実験である。
  論文  参考訳（メタデータ） (2024-09-16T08:26:06Z)
• Extreme Compression of Adaptive Neural Images [6.646501936980895]
  Implicit Neural Representation(INR)とNeural Fieldsは、画像やオーディオから3Dシーン、ビデオまで、信号表現のための新しいパラダイムである。 本稿では、画像に焦点をあてて、ニューラルネットワークの圧縮に関する新しい分析法を提案する。 また、異なる推論や伝送要求への適応を可能にする効率的なニューラルネットワーク表現であるAdaptive Neural Images (ANI)を導入する。
  論文  参考訳（メタデータ） (2024-05-27T03:54:09Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Neural Knitworks: Patched Neural Implicit Representation Networks [1.0470286407954037]
  画像合成を実現する自然画像の暗黙的表現学習のためのアーキテクチャであるKnitworkを提案する。 私たちの知る限りでは、画像のインペインティング、超解像化、デノイングといった合成作業に適した座標ベースのパッチの実装は、これが初めてである。 その結果, ピクセルではなくパッチを用いた自然な画像のモデリングにより, 忠実度が高い結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T13:10:46Z)
• Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
  本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。 異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。 ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-31T18:55:38Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• A new approach to descriptors generation for image retrieval by analyzing activations of deep neural network layers [43.77224853200986]
  本稿では,ディープニューラルネットワークを用いたコンテンツベース画像検索作業における記述子構築の問題点について考察する。 ネットワークの畳み込み部分のニューロンの総数は多く、その大部分が最終分類決定にほとんど影響を与えないことが知られている。 本稿では,最も重要なニューロン活性化を抽出し,その情報を利用して効果的な記述子を構築する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:53:10Z)
• Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
  LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。 実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
  論文  参考訳（メタデータ） (2020-07-12T23:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。