Fugu-MT 論文翻訳(概要): Bayesian Recurrent Units and the Forward-Backward Algorithm

論文の概要: Bayesian Recurrent Units and the Forward-Backward Algorithm

arxiv url: http://arxiv.org/abs/2207.10486v1
Date: Thu, 21 Jul 2022 14:00:52 GMT
ステータス: 処理完了
システム内更新日: 2022-07-22 12:25:27.713642
Title: Bayesian Recurrent Units and the Forward-Backward Algorithm
Title（参考訳）: ベイズ再帰単位とフォワードバックワードアルゴリズム
Authors: Alexandre Bittar and Philip N. Garner
Abstract要約: ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
参考スコア（独自算出の注目度）: 91.39701446828144
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Using Bayes's theorem, we derive a unit-wise recurrence as well as a backward recursion similar to the forward-backward algorithm. The resulting Bayesian recurrent units can be integrated as recurrent neural networks within deep learning frameworks, while retaining a probabilistic interpretation from the direct correspondence with hidden Markov models. Whilst the contribution is mainly theoretical, experiments on speech recognition indicate that adding the derived units at the end of state-of-the-art recurrent architectures can improve the performance at a very low cost in terms of trainable parameters.
Abstract（参考訳）: ベイズの定理を用いることで、単位的再帰と前向きアルゴリズムと同様の後方再帰を導出する。ベイズ的再帰ユニットは、隠れマルコフモデルとの直接対応から確率論的解釈を維持しながら、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。貢献は主に理論的であるが、音声認識の実験は、最先端のリカレントアーキテクチャの終わりに導出単位を追加することは、訓練可能なパラメータの観点から非常に低いコストで性能を改善することができることを示している。

関連論文リスト

Emergent representations in networks trained with the Forward-Forward algorithm [0.6597195879147556]
我々は,フォワード・フォワードアルゴリズムが,高い空間性を示すカテゴリ固有のアンサンブルに編成可能であることを示す。その結果、フォワード・フォワードが提案する学習手順は、大脳皮質における学習のモデル化において、バックプロパゲーションよりも優れている可能性が示唆された。
論文参考訳（メタデータ） (2023-05-26T14:39:46Z)
A Lifted Bregman Formulation for the Inversion of Deep Neural Networks [28.03724379169264]
本稿では,ディープニューラルネットワークの正規化インバージョンのための新しいフレームワークを提案する。このフレームワークは、補助変数を導入することにより、パラメータ空間を高次元空間に引き上げる。理論的結果を提示し,その実用的応用を数値的な例で支援する。
論文参考訳（メタデータ） (2023-03-01T20:30:22Z)
ResMem: Learn what you can and memorize the rest [79.19649788662511]
本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。 ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
論文参考訳（メタデータ） (2023-02-03T07:12:55Z)
Reconstruction Probing [7.647452554776166]
マスク付き言語モデルにおける再構成確率に基づく文脈表現の新しい解析手法を提案する。トークンに近いトークンの文脈化は、線形および構文的距離で再構成される。我々は、文脈化表現のより微細な分解に分析を拡張し、これらのブーストは入力層における静的および位置埋め込みに起因することが判明した。
論文参考訳（メタデータ） (2022-12-21T06:22:03Z)
A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文参考訳（メタデータ） (2022-11-22T16:30:33Z)
Transformer Meets Boundary Value Inverse Problems [4.165221477234755]
変圧器を用いた深部直接サンプリング法は境界値逆問題のクラスを解くために提案される。慎重に設計されたデータと再構成された画像の間に学習した逆演算子を評価することにより、リアルタイムな再構成を実現する。
論文参考訳（メタデータ） (2022-09-29T17:45:25Z)
End-to-end reconstruction meets data-driven regularization for inverse problems [2.800608984818919]
本稿では,不適切な逆問題に対するエンド・ツー・エンドの再構成演算子を学習するための教師なしアプローチを提案する。提案手法は,古典的変分フレームワークと反復的アンローリングを組み合わせたものである。我々は,X線CT(Computerd tomography)の例で,最先端の教師なし手法よりも優れていることを示す。
論文参考訳（メタデータ） (2021-06-07T12:05:06Z)
Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文参考訳（メタデータ） (2020-10-02T15:21:37Z)
Towards a Theoretical Understanding of the Robustness of Variational Autoencoders [82.68133908421792]
敵攻撃や他の入力摂動に対する変分オートエンコーダ(VAE)の堅牢性を理解するために,我々は進出している。確率モデルにおけるロバスト性のための新しい基準である$r$-robustnessを開発する。遠心法を用いて訓練したVAEが、ロバストネスの指標でよく評価されていることを示す。
論文参考訳（メタデータ） (2020-07-14T21:22:29Z)
Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。