論文の概要: DartsReNet: Exploring new RNN cells in ReNet architectures

• arxiv url: http://arxiv.org/abs/2304.05838v1
• Date: Tue, 11 Apr 2023 09:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 15:02:20.206904
• Title: DartsReNet: Exploring new RNN cells in ReNet architectures
• Title（参考訳）: DartsReNet: ReNetアーキテクチャにおける新しいRNNセルの探索
• Authors: Brian Moser, Federico Raue, J\"orn Hees, Andreas Dengel
• Abstract要約: DARTSと呼ばれるニューラル・アーキテクチャ・サーチ(NAS)を用いた画像分類のための新しいリカレント・ニューラル・ニューラルネットワーク(RNN)セルを提案する。 ReNetアーキテクチャは、畳み込みとプールのステップの代替として提示されたRNNベースのアプローチです。
• 参考スコア（独自算出の注目度）: 4.266320191208303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present new Recurrent Neural Network (RNN) cells for image classification using a Neural Architecture Search (NAS) approach called DARTS. We are interested in the ReNet architecture, which is a RNN based approach presented as an alternative for convolutional and pooling steps. ReNet can be defined using any standard RNN cells, such as LSTM and GRU. One limitation is that standard RNN cells were designed for one dimensional sequential data and not for two dimensions like it is the case for image classification. We overcome this limitation by using DARTS to find new cell designs. We compare our results with ReNet that uses GRU and LSTM cells. Our found cells outperform the standard RNN cells on CIFAR-10 and SVHN. The improvements on SVHN indicate generalizability, as we derived the RNN cell designs from CIFAR-10 without performing a new cell search for SVHN.
• Abstract（参考訳）: DARTSと呼ばれるニューラルアーキテクチャサーチ(NAS)を用いた画像分類のための新しいリカレントニューラルネットワーク(RNN)セルを提案する。 ReNetアーキテクチャは、畳み込みとプールのステップの代替として提示されたRNNベースのアプローチです。 ReNetはLSTMやGRUといった標準のRNN細胞を使って定義することができる。 1つの制限は、標準のRNNセルが1次元のシーケンシャルデータのために設計されており、画像分類の場合のように2次元ではないことである。 我々は、DARTSを使って新しいセル設計を見つけることで、この制限を克服する。 GRU と LSTM 細胞を用いた ReNet との比較を行った。 CIFAR-10とSVHNでは,標準RNN細胞よりも優れていた。 SVHNの改良は、SVHNの新しいセルサーチを行うことなく、CIFAR-10からRNNセル設計を抽出し、一般化可能性を示している。

関連論文リスト

• Were RNNs All We Needed? [53.393497486332]
  従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。 入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T03:06:49Z)
• Recurrent Neural Networks for Still Images [0.0]
  我々は、RNNが静止画をシーケンスとして解釈することで効果的に処理できることを論じる。 本稿では、画像などの2次元入力に適した新しいRNN設計と、従来の実装よりもメモリ効率が高いBiDirectional RNN(BiRNN)のカスタムバージョンを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T06:07:20Z)
• scBiGNN: Bilevel Graph Representation Learning for Cell Type Classification from Single-cell RNA Sequencing Data [62.87454293046843]
  グラフニューラルネットワーク(GNN)は、セルタイプの自動分類に広く利用されている。 scBiGNNは2つのGNNモジュールから構成され、細胞型を識別する。 scBiGNNは、scRNA-seqデータから細胞型分類のための様々な方法より優れている。
  論文  参考訳（メタデータ） (2023-12-16T03:54:26Z)
• Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement [11.591247347259317]
  RNNをモジュールに分解する最初の手法を提案する。 我々は,Vanilla,LSTM,GRUなど,さまざまな種類のRNNを研究している。 本稿では,RNNモジュールを再利用し,様々なシナリオで置き換える方法について述べる。
  論文  参考訳（メタデータ） (2022-12-09T03:29:38Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Gates Are Not What You Need in RNNs [2.6199029802346754]
  従来のセルに勝って1つのゲートを使わないResidual Recurrent Unit(RRU)と呼ばれる新しいリカレントセルを提案する。 これは残りのショートカット接続、線形変換、ReLU、正規化に基づいている。 実験の結果,RRUは従来のゲートユニットよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-01T19:20:34Z)
• Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN [9.20540910698296]
  本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。 carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
  論文  参考訳（メタデータ） (2021-06-22T12:28:33Z)
• Convolutional Neural Networks with Gated Recurrent Connections [25.806036745901114]
  リカレント畳み込みニューラルネットワーク(RCNN)は、動物の視覚系における豊富なリカレント接続にインスパイアされている。 本稿では、繰り返し接続にゲートを導入することにより、ニューロンの受容野(RF)を変調することを提案する。 GRCNNは、オブジェクト認識、シーンテキスト認識、オブジェクト検出などのコンピュータビジョンタスクで評価された。
  論文  参考訳（メタデータ） (2021-06-05T10:14:59Z)
• Stretchable Cells Help DARTS Search Better [70.52254306274092]
  分化可能なニューラルアーキテクチャサーチ(DARTS)は、柔軟で多様な細胞タイプを発見することに成功している。 現在のDARTS法は、広くて浅い細胞に傾向があり、このトポロジー崩壊は、準最適細胞を誘導する。 本稿では,細胞に伸縮性を持たせることで,ストレッチ可能な細胞に直接サーチを実装できることを示す。
  論文  参考訳（メタデータ） (2020-11-18T14:15:51Z)
• Fusion Recurrent Neural Network [88.5550074808201]
  我々は、新しい簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。 Fusion RNNはFusionモジュールとTransportモジュールで構成されている。 本研究では,Fusion RNNのシーケンス特徴抽出能力を評価するために,シーケンスデータ,到着推定時刻(ETA)の代表的なデータマイニングタスクを選択し,Fusion RNNに基づく新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-07T07:39:49Z)
• Visual Commonsense R-CNN [102.5061122013483]
  本稿では,新しい教師なし特徴表現学習手法であるVisual Commonsense Region-based Convolutional Neural Network (VC R-CNN)を提案する。 VC R-CNNは、キャプションやVQAのような高レベルのタスクのための改善された視覚領域エンコーダとして機能する。 我々は、画像キャプション、VQA、VCRの3つの一般的なタスクのモデルにおいて、VC R-CNNの機能を広く適用し、それら全体で一貫したパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2020-02-27T15:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。