論文の概要: Stable and expressive recurrent vision models
- arxiv url: http://arxiv.org/abs/2005.11362v2
- Date: Thu, 22 Oct 2020 23:15:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 08:41:34.563371
- Title: Stable and expressive recurrent vision models
- Title（参考訳）: 安定かつ表現的繰り返し視覚モデル
- Authors: Drew Linsley, Alekh Karkada Ashok, Lakshmi Narasimhan Govindarajan,
Rex Liu, and Thomas Serre
- Abstract要約: コンストラクタ・リカレント・バックプロパゲーション (C-RBP) は, 再カレント処理のステップで一定のO(1)メモリ複雑度を達成する新しい学習アルゴリズムである。
C-RBPは、リカレントダイナミクスの恩恵を受けるあらゆるアプリケーションのための汎用学習アルゴリズムである。
- 参考スコア（独自算出の注目度）: 12.578121388491764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Primate vision depends on recurrent processing for reliable perception. A
growing body of literature also suggests that recurrent connections improve the
learning efficiency and generalization of vision models on classic computer
vision challenges. Why then, are current large-scale challenges dominated by
feedforward networks? We posit that the effectiveness of recurrent vision
models is bottlenecked by the standard algorithm used for training them,
"back-propagation through time" (BPTT), which has O(N) memory-complexity for
training an N step model. Thus, recurrent vision model design is bounded by
memory constraints, forcing a choice between rivaling the enormous capacity of
leading feedforward models or trying to compensate for this deficit through
granular and complex dynamics. Here, we develop a new learning algorithm,
"contractor recurrent back-propagation" (C-RBP), which alleviates these issues
by achieving constant O(1) memory-complexity with steps of recurrent
processing. We demonstrate that recurrent vision models trained with C-RBP can
detect long-range spatial dependencies in a synthetic contour tracing task that
BPTT-trained models cannot. We further show that recurrent vision models
trained with C-RBP to solve the large-scale Panoptic Segmentation MS-COCO
challenge outperform the leading feedforward approach, with fewer free
parameters. C-RBP is a general-purpose learning algorithm for any application
that can benefit from expansive recurrent dynamics. Code and data are available
at https://github.com/c-rbp.
- Abstract（参考訳）: プライメートビジョンは、信頼できる知覚のために繰り返し処理に依存する。
文献の増大は、リカレント接続が古典的なコンピュータビジョン課題における視覚モデルの学習効率と一般化を改善することを示唆している。
なぜ、現在の大規模な課題はフィードフォワードネットワークに支配されているのか?
我々は,nステップモデルの学習にo(n)メモリ複雑度を有する"back-propagation through time"(bptt)という標準アルゴリズムによって,反復的視覚モデルの有効性がボトルネックとなっていることを実証する。
したがって、リカレントビジョンモデルの設計はメモリ制約によって制限され、フィードフォワードモデルの膨大なキャパシティと競合するか、粒度と複雑なダイナミクスによってこの欠陥を補うかの選択肢が選択される。
本稿では,反復処理のステップでo(1)メモリ複雑度を一定にすることで,これらの問題を緩和する新しい学習アルゴリズム「contractor recurrent back-propagation(c-rbp)」を開発した。
BPTT学習モデルでは不可能な合成輪郭追跡タスクにおいて,C-RBPでトレーニングした繰り返し視覚モデルが長距離空間依存性を検出することを実証した。
さらに,c-rbpで訓練された再帰的視覚モデルを用いて,大容量のパオプティカルセグメンテーションms-cocoチャレンジが,自由パラメータの少ない先行フィードフォワードアプローチよりも優れていることを示す。
C-RBPは、拡張的リカレントダイナミクスの恩恵を受けるあらゆるアプリケーションのための汎用学習アルゴリズムである。
コードとデータはhttps://github.com/c-rbp.com/で入手できる。
関連論文リスト
- Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。
本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文 参考訳（メタデータ） (2024-01-11T04:59:44Z) - MsDC-DEQ-Net: Deep Equilibrium Model (DEQ) with Multi-scale Dilated
Convolution for Image Compressive Sensing (CS) [0.0]
圧縮センシング(CS)は、従来のサンプリング法よりも少ない測定値を用いてスパース信号の回復を可能にする技術である。
我々はCSを用いた自然画像再構成のための解釈可能かつ簡潔なニューラルネットワークモデルを構築した。
MsDC-DEQ-Netと呼ばれるこのモデルは、最先端のネットワークベースの手法と比較して、競争力のある性能を示す。
論文 参考訳（メタデータ） (2024-01-05T16:25:58Z) - Layerwise complexity-matched learning yields an improved model of cortical area V2 [12.861402235256207]
ディープニューラルネットワークは、人間の能力にアプローチするオブジェクト認識のためのエンドツーエンドを訓練した。
我々は,連続する層に独立して機能する自己指導型トレーニング手法を開発した。
本モデルは, 霊長類領域V2における選択性特性と神経活動に適合していることが示唆された。
論文 参考訳（メタデータ） (2023-12-18T18:37:02Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Learning a model is paramount for sample efficiency in reinforcement
learning control of PDEs [5.488334211013093]
RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。
また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
論文 参考訳（メタデータ） (2023-02-14T16:14:39Z) - Go Beyond Multiple Instance Neural Networks: Deep-learning Models based
on Local Pattern Aggregation [0.0]
畳み込みニューラルネットワーク(CNN)は、臨床心電図(ECG)と話者非依存音声の処理においてブレークスルーをもたらした。
本稿では,局所的なパターン集約に基づくディープラーニングモデルを提案する。
LPANetと呼ばれる新しいネットワーク構造には、トリミングと集約操作が組み込まれている。
論文 参考訳（メタデータ） (2022-05-28T13:18:18Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳（メタデータ） (2020-06-12T15:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。