論文の概要: Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units

• arxiv url: http://arxiv.org/abs/2002.11338v2
• Date: Tue, 26 May 2020 13:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 13:50:04.796183
• Title: Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units
• Title（参考訳）: Refined Gate: リカレントユニットの簡易かつ効果的なゲーティング機構
• Authors: Zhanzhan Cheng, Yunlu Xu, Mingjian Cheng, Yu Qiao, Shiliang Pu, Yi Niu and Fei Wu
• Abstract要約: 本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
• 参考スコア（独自算出の注目度）: 68.30422112784355
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recurrent neural network (RNN) has been widely studied in sequence learning tasks, while the mainstream models (e.g., LSTM and GRU) rely on the gating mechanism (in control of how information flows between hidden states). However, the vanilla gates in RNN (e.g., the input gate in LSTM) suffer from the problem of gate undertraining, which can be caused by various factors, such as the saturating activation functions, the gate layouts (e.g., the gate number and gating functions), or even the suboptimal memory state etc.. Those may result in failures of learning gating switch roles and thus the weak performance. In this paper, we propose a new gating mechanism within general gated recurrent neural networks to handle this issue. Specifically, the proposed gates directly short connect the extracted input features to the outputs of vanilla gates, denoted as refined gates. The refining mechanism allows enhancing gradient back-propagation as well as extending the gating activation scope, which can guide RNN to reach possibly deeper minima. We verify the proposed gating mechanism on three popular types of gated RNNs including LSTM, GRU and MGU. Extensive experiments on 3 synthetic tasks, 3 language modeling tasks and 5 scene text recognition benchmarks demonstrate the effectiveness of our method.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はシーケンシャルラーニングタスクにおいて広く研究されており、主流モデル(LSTMやGRUなど)はゲーティング機構(隠れ状態間の情報の流れの制御)に依存している。 しかし、RNN(例えばLSTMの入力ゲート)のバニラゲートは、飽和活性化関数、ゲートレイアウト(例えば、ゲート番号とゲーティング関数)、さらには最適下メモリ状態など、様々な要因によって生じるゲートアンダートレーニングの問題に悩まされる。 これらは、ゲーティングスイッチロールの学習に失敗し、パフォーマンスが低下する可能性がある。 本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 具体的には,提案したゲートは,抽出した入力特徴とバリラゲートの出力を直接的にショートする。 精製機構により、勾配のバックプロパゲーションが強化され、ゲーティングアクティベーション範囲が拡張され、RNNはより深いミニマに達することができる。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。 3つの合成タスク、3つの言語モデリングタスク、5つのシーンテキスト認識ベンチマークに関する広範な実験が本手法の有効性を示している。

関連論文リスト

• DeepGate3: Towards Scalable Circuit Representation Learning [9.910071321534682]
  回路表現学習は電子設計自動化(EDA)の分野を前進させる有望な成果を示した DeepGate Familyのような既存のモデルは、主にグラフニューラルネットワーク(GNN)を使用して、回路網リストをゲートレベルの埋め込みにエンコードする。 我々は,最初のGNN処理に従ってTransformerモジュールを統合する拡張アーキテクチャであるDeepGate3を紹介する。
  論文  参考訳（メタデータ） (2024-07-15T02:44:21Z)
• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• Securing Graph Neural Networks in MLaaS: A Comprehensive Realization of Query-based Integrity Verification [68.86863899919358]
  我々は機械学習におけるGNNモデルをモデル中心の攻撃から保護するための画期的なアプローチを導入する。 提案手法は,GNNの完全性に対する包括的検証スキーマを含み,トランスダクティブとインダクティブGNNの両方を考慮している。 本稿では,革新的なノード指紋生成アルゴリズムを組み込んだクエリベースの検証手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T03:17:05Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Hybrid Graph Neural Networks for Few-Shot Learning [85.93495480949079]
  グラフニューラルネットワーク(GNN)は、数発の学習問題に対処するために使用されている。 帰納的設定の下では、既存のGNNベースのメソッドは競争力が少ない。 本稿では2つのGNN(インスタンスGNNとプロトタイプGNN)からなる新しいハイブリッドGNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-13T10:20:15Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Working Memory Connections for LSTM [51.742526187978726]
  ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
  論文  参考訳（メタデータ） (2021-08-31T18:01:30Z)
• Gates Are Not What You Need in RNNs [2.6199029802346754]
  従来のセルに勝って1つのゲートを使わないResidual Recurrent Unit(RRU)と呼ばれる新しいリカレントセルを提案する。 これは残りのショートカット接続、線形変換、ReLU、正規化に基づいている。 実験の結果,RRUは従来のゲートユニットよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-01T19:20:34Z)
• GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction [3.201333208812837]
  近年、多くのニューラルネットワークベースのCTRモデルが提案され、成功している。 本稿では,GateNetと呼ばれる新しいモデルを提案する。このモデルでは,埋込層に特徴埋込ゲートまたは隠蔽ゲートを導入するか,あるいは隠蔽CTRモデルを導入する。
  論文  参考訳（メタデータ） (2020-07-06T12:45:46Z)
• Gating creates slow modes and controls phase-space complexity in GRUs and LSTMs [5.672132510411465]
  ゲートの追加がGRUとLSTMの動的および訓練性に与える影響について検討した。 GRUの更新ゲートとLSTMの忘れゲートは、動的に遅いモードが蓄積される可能性があることを示す。
  論文  参考訳（メタデータ） (2020-01-31T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。