論文の概要: Learning compact generalizable neural representations supporting
perceptual grouping
- arxiv url: http://arxiv.org/abs/2006.11716v1
- Date: Sun, 21 Jun 2020 05:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 12:14:17.137214
- Title: Learning compact generalizable neural representations supporting
perceptual grouping
- Title(参考訳): 知覚的グループ化を支援する学習コンパクト一般化型ニューラルネットワーク表現
- Authors: Vijay Veerabadran, Virginia R. de Sa
- Abstract要約: 本稿では,皮質回路に横方向接続をユビキタスに組み込んだバイオインスパイアされたリカレントユニットであるV1Netを紹介する。
V1Net-DCNの学習効率と精度を、慎重に選択された14のフィードフォワードおよびリカレントニューラルネットワークアーキテクチャと比較した。
これらの結果から, 小型3層V1Net-DCNは, 試験精度, 試料効率を比較検討した。
- 参考スコア(独自算出の注目度): 7.23389716633927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Work at the intersection of vision science and deep learning is starting to
explore the efficacy of deep convolutional networks (DCNs) and recurrent
networks in solving perceptual grouping problems that underlie primate visual
recognition and segmentation. Here, we extend this line of work to investigate
the compactness and generalizability of DCN solutions to learning low-level
perceptual grouping routines involving contour integration. We introduce V1Net,
a bio-inspired recurrent unit that incorporates lateral connections ubiquitous
in cortical circuitry. Feedforward convolutional layers in DCNs can be
substituted with V1Net modules to enhance their contextual visual processing
support for perceptual grouping. We compare the learning efficiency and
accuracy of V1Net-DCNs to that of 14 carefully selected feedforward and
recurrent neural architectures (including state-of-the-art DCNs) on MarkedLong
-- a synthetic forced-choice contour integration dataset of 800,000 images we
introduce here -- and the previously published Pathfinder contour integration
benchmarks. We gauged solution generalizability by measuring the transfer
learning performance of our candidate models trained on MarkedLong that were
fine-tuned to learn PathFinder. Our results demonstrate that a compact 3-layer
V1Net-DCN matches or outperforms the test accuracy and sample efficiency of all
tested comparison models which contain between 5x and 1000x more trainable
parameters; we also note that V1Net-DCN learns the most compact generalizable
solution to MarkedLong. A visualization of the temporal dynamics of a V1Net-DCN
elucidates its usage of interpretable grouping computations to solve
MarkedLong. The compact and rich representations of V1Net-DCN also make it a
promising candidate to build on-device machine vision algorithms as well as
help better understand biological cortical circuitry.
- Abstract(参考訳): 視覚科学と深層学習の交差点での作業は、視覚認識とセグメンテーションの根底にある知覚的グループ化問題の解決において、深層畳み込みネットワーク(DCN)と繰り返しネットワークの有効性を探求し始めている。
本稿では,DCNソリューションのコンパクト性と一般化性について検討し,輪郭積分を含む低レベルの知覚的グループ化ルーチンを学習する。
v1netは、皮質回路の至る所に存在する側方接続を組み込んだバイオインスパイアされたリカレントユニットである。
DCNのフィードフォワード畳み込み層をV1Netモジュールで置き換えることで、知覚的グループ化のためのコンテキスト視覚処理サポートを強化することができる。
我々は、V1Net-DCNの学習効率と精度を、MarkedLongの14の慎重に選択されたフィードフォワードおよびリカレントニューラルネットワーク(最先端DCNを含む)と比較する。
そこで我々は,PathFinderの学習を微調整したMarkedLongで学習した候補モデルの伝達学習性能を測定し,解の一般化性を測定した。
以上の結果から,V1Net-DCNはより訓練可能なパラメータの5倍から1000倍のパラメータを含む全比較モデルにおいて,テスト精度とサンプル効率を比較・比較し,V1Net-DCNがMarkedLongに対して最もコンパクトな一般化可能な解を学習することを示す。
V1Net-DCNの時間ダイナミクスの可視化は、MarkedLongを解くための解釈可能なグループ計算の利用を解明する。
V1Net-DCNのコンパクトでリッチな表現は、デバイス上のマシンビジョンアルゴリズムを構築するだけでなく、生物学的皮質回路の理解を深める上で有望な候補となる。
関連論文リスト
- Temporal Convolutional Explorer Helps Understand 1D-CNN's Learning
Behavior in Time Series Classification from Frequency Domain [7.784692102912901]
本稿では,1D-CNNの学習動作を実証的に探索する時間的畳み込みエクスプローラー(TCE)を提案する。
TCE分析は、より深い1D-CNNは、精度劣化現象につながる低周波成分から焦点を逸らす傾向があることを強調した。
次に,既存の1D-CNNに容易に統合可能な規制フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-09T07:22:22Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳(メタデータ) (2022-10-14T18:00:07Z) - Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method [0.0]
畳み込みニューラルネットワーク(CNN)は、オブジェクト認識と検出の潜在的アプローチである。
畳み込み操作の代替として,アダマール変換に基づく新しいアプローチを示す。
この方法は、入力画像サイズよりもカーネルサイズが小さい場合、他のコンピュータビジョンタスクに役立ちます。
論文 参考訳(メタデータ) (2022-09-06T21:36:57Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Optimising for Interpretability: Convolutional Dynamic Alignment
Networks [108.83345790813445]
我々は、畳み込み動的アライメントネットワーク(CoDA Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。
彼らの中核となるビルディングブロックは動的アライメントユニット(DAU)であり、タスク関連パターンに合わせて動的に計算された重みベクトルで入力を変換するように最適化されている。
CoDAネットは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
論文 参考訳(メタデータ) (2021-09-27T12:39:46Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Enabling Collaborative Video Sensing at the Edge through Convolutional
Sharing [2.2488787113581923]
ネットワーク内のピアノードが協調して人検出の精度を向上させる新しいパラダイムを提案する。
初期の結果は、単一のコラボレータで最大10%のリコールの改善を約束している。
論文 参考訳(メタデータ) (2020-12-03T06:29:09Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳(メタデータ) (2020-09-29T06:24:32Z) - DCN V2: Improved Deep & Cross Network and Practical Lessons for
Web-scale Learning to Rank Systems [15.398542784403604]
Deep & Cross Network (DCN) は、境界度予測機能相互作用を自動かつ効率的に学習するために提案されている。
大規模産業環境でDCNをより実用的なものにするために,DCN-V2の改良フレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-19T20:33:02Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。