論文の概要: Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient
Sign Language Translation
- arxiv url: http://arxiv.org/abs/2102.06143v1
- Date: Thu, 11 Feb 2021 17:36:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-13 02:48:09.574678
- Title: Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient
Sign Language Translation
- Title（参考訳）: メモリ効率の良い手話翻訳のための変分ベイズ系列列列ネットワーク
- Authors: Harris Partaourides, Andreas Voskou, Dimitrios Kosmopoulos, Sotirios
Chatzis, and Dimitris N. Metaxas
- Abstract要約: 記憶効率のよい連続手話翻訳は、聴覚障害者にリアルタイム適用可能な支援技術を開発する上で重要な課題である。
非パラメトリックな統計量から、再帰層の出力を適切な引数から導出する、再帰的な深層ネットワークを設計するパラダイムを導入する。
- 参考スコア（独自算出の注目度）: 44.35968876258155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory-efficient continuous Sign Language Translation is a significant
challenge for the development of assisted technologies with real-time
applicability for the deaf. In this work, we introduce a paradigm of designing
recurrent deep networks whereby the output of the recurrent layer is derived
from appropriate arguments from nonparametric statistics. A novel variational
Bayesian sequence-to-sequence network architecture is proposed that consists of
a) a full Gaussian posterior distribution for data-driven memory compression
and b) a nonparametric Indian Buffet Process prior for regularization applied
on the Gated Recurrent Unit non-gate weights. We dub our approach
Stick-Breaking Recurrent network and show that it can achieve a substantial
weight compression without diminishing modeling performance.
- Abstract（参考訳）: 記憶効率のよい連続手話翻訳は、聴覚障害者にリアルタイム適用可能な支援技術を開発する上で重要な課題である。
本稿では,非パラメトリック統計学からの適切な議論から再帰層の出力を導出する,再帰的な深層ネットワークを設計するパラダイムを提案する。
a) データ駆動メモリ圧縮のための完全なガウス後方分布と、b)ゲートリカレント単位非ゲート重みに適用される正則化前の非パラメトリックインドビュッフェプロセスからなる、新しい変分ベイズ列対シーケンスネットワークアーキテクチャを提案する。
我々は,Stick-Breaking Recurrent Network のアプローチをダブし,モデリング性能を低下させることなく,相当量の重み圧縮を実現できることを示す。
関連論文リスト
- Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。
本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。
実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
論文 参考訳（メタデータ） (2024-09-20T07:18:31Z) - Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
テキストから音声合成(TTS)のための新しい連続値トークンに基づく言語モデリング手法であるMELLEを提案する。
MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。
論文 参考訳（メタデータ） (2024-07-11T14:36:53Z) - Network reconstruction via the minimum description length principle [0.0]
階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。
提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。
提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
論文 参考訳（メタデータ） (2024-05-02T05:35:09Z) - Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - Self-Compression in Bayesian Neural Networks [0.9176056742068814]
ベイジアンフレームワークによるネットワーク圧縮に関する新たな知見を提案する。
ベイズニューラルネットワークがモデルパラメータの冗長性を自動的に検出し,自己圧縮を可能にすることを示す。
実験の結果,ネットワーク自体が特定したパラメータを削除することで,ネットワークアーキテクチャの圧縮に成功できることが示唆された。
論文 参考訳（メタデータ） (2021-11-10T21:19:40Z) - NOTMAD: Estimating Bayesian Networks with Sample-Specific Structures and
Parameters [70.55488722439239]
提案するNOTMADは,サンプルコンテキストに応じてアーキティパルネットワークの混合を学習する。
患者固有の遺伝子発現ネットワークを含む分析および実験を通じて,NOTMADとサンプル特異的ネットワーク推論の有用性を実証する。
論文 参考訳（メタデータ） (2021-11-01T17:17:34Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z) - Residual Continual Learning [33.442903467864966]
我々はResidual Continual Learning(ResCL)と呼ばれる新しい連続学習手法を提案する。
本手法は,複数のタスクの逐次学習において,元のネットワーク以外のソースタスク情報なしで破滅的な忘れ現象を防止できる。
提案手法は,様々な連続学習シナリオにおける最先端性能を示す。
論文 参考訳（メタデータ） (2020-02-17T05:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。