論文の概要: Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation

• arxiv url: http://arxiv.org/abs/2102.06143v1
• Date: Thu, 11 Feb 2021 17:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-13 02:48:09.574678
• Title: Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
• Title（参考訳）: メモリ効率の良い手話翻訳のための変分ベイズ系列列列ネットワーク
• Authors: Harris Partaourides, Andreas Voskou, Dimitrios Kosmopoulos, Sotirios Chatzis, and Dimitris N. Metaxas
• Abstract要約: 記憶効率のよい連続手話翻訳は、聴覚障害者にリアルタイム適用可能な支援技術を開発する上で重要な課題である。 非パラメトリックな統計量から、再帰層の出力を適切な引数から導出する、再帰的な深層ネットワークを設計するパラダイムを導入する。
• 参考スコア（独自算出の注目度）: 44.35968876258155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory-efficient continuous Sign Language Translation is a significant challenge for the development of assisted technologies with real-time applicability for the deaf. In this work, we introduce a paradigm of designing recurrent deep networks whereby the output of the recurrent layer is derived from appropriate arguments from nonparametric statistics. A novel variational Bayesian sequence-to-sequence network architecture is proposed that consists of a) a full Gaussian posterior distribution for data-driven memory compression and b) a nonparametric Indian Buffet Process prior for regularization applied on the Gated Recurrent Unit non-gate weights. We dub our approach Stick-Breaking Recurrent network and show that it can achieve a substantial weight compression without diminishing modeling performance.
• Abstract（参考訳）: 記憶効率のよい連続手話翻訳は、聴覚障害者にリアルタイム適用可能な支援技術を開発する上で重要な課題である。 本稿では,非パラメトリック統計学からの適切な議論から再帰層の出力を導出する,再帰的な深層ネットワークを設計するパラダイムを提案する。 a) データ駆動メモリ圧縮のための完全なガウス後方分布と、b)ゲートリカレント単位非ゲート重みに適用される正則化前の非パラメトリックインドビュッフェプロセスからなる、新しい変分ベイズ列対シーケンスネットワークアーキテクチャを提案する。 我々は,Stick-Breaking Recurrent Network のアプローチをダブし,モデリング性能を低下させることなく,相当量の重み圧縮を実現できることを示す。

関連論文リスト

• Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings [0.0]
  本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。 ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。 RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-03-23T15:59:06Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [77.9314333505662]
  超解像のためのネットワークプルーニングの可能性について検討し、既製のネットワーク設計を活用し、基礎となる計算オーバーヘッドを低減する。 本稿では,各イテレーションにおけるランダム勾配ネットワークのスパース構造を最適化し,新しい反復型軟収縮率(ISS-P)法を提案する。 提案したISS-Pは、最適化プロセスに適応したスパース構造を動的に学習し、より規則化されたスループットを得ることでスパースモデルのトレーニング性を維持することができる。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Adversarial Reprogramming Revisited [0.15229257192293197]
  敵対的再プログラミングは、異なるタスクを実行するためにニューラルネットワークを再利用しようとする。 ランダムな重みを持つ2層ReLUニューラルネットワークは、任意に高い精度を達成するために逆向きにプログラムできることを示す。
  論文  参考訳（メタデータ） (2022-06-07T17:37:22Z)
• Self-Compression in Bayesian Neural Networks [0.9176056742068814]
  ベイジアンフレームワークによるネットワーク圧縮に関する新たな知見を提案する。 ベイズニューラルネットワークがモデルパラメータの冗長性を自動的に検出し,自己圧縮を可能にすることを示す。 実験の結果,ネットワーク自体が特定したパラメータを削除することで,ネットワークアーキテクチャの圧縮に成功できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T21:19:40Z)
• NOTMAD: Estimating Bayesian Networks with Sample-Specific Structures and Parameters [70.55488722439239]
  提案するNOTMADは,サンプルコンテキストに応じてアーキティパルネットワークの混合を学習する。 患者固有の遺伝子発現ネットワークを含む分析および実験を通じて,NOTMADとサンプル特異的ネットワーク推論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-11-01T17:17:34Z)
• Quantum-inspired event reconstruction with Tensor Networks: Matrix Product States [0.0]
  ニューラルネットワークは量子力学の概念を機械学習技術に結びつけるのに理想的な手段であることを示す。 エンタングルメントのエントロピーは,ネットワークの学習内容の解釈に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-15T18:00:02Z)
• On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
  最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。 条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。 提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-10T07:00:57Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Residual Continual Learning [33.442903467864966]
  我々はResidual Continual Learning(ResCL)と呼ばれる新しい連続学習手法を提案する。 本手法は,複数のタスクの逐次学習において,元のネットワーク以外のソースタスク情報なしで破滅的な忘れ現象を防止できる。 提案手法は,様々な連続学習シナリオにおける最先端性能を示す。
  論文  参考訳（メタデータ） (2020-02-17T05:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。