Fugu-MT 論文翻訳(概要): Introducing the Hidden Neural Markov Chain framework

論文の概要: Introducing the Hidden Neural Markov Chain framework

arxiv url: http://arxiv.org/abs/2102.11038v1
Date: Wed, 17 Feb 2021 20:13:45 GMT
ステータス: 処理完了
システム内更新日: 2021-04-05 00:42:03.323264
Title: Introducing the Hidden Neural Markov Chain framework
Title（参考訳）: Hidden Neural Markov Chainフレームワークの紹介
Authors: Elie Azeraf, Emmanuel Monfrini, Emmanuel Vignon, Wojciech Pieczynski
Abstract要約: 本稿では,ニューラルモデルの新しいファミリーであるHNMC(Hidden Neural Markov Chain)フレームワークを提案する。クラシックなHNMC、HNMC2、HNMC-CNの3つのモデルを提案します。この新しいニューラルネットワークシーケンシャルフレームワークの可能性を示すもので、新しいモデルへの道を開き、最終的には一般的なBiLSTMやBiGRUと競合する可能性がある。
参考スコア（独自算出の注目度）: 7.85426761612795
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Nowadays, neural network models achieve state-of-the-art results in many areas as computer vision or speech processing. For sequential data, especially for Natural Language Processing (NLP) tasks, Recurrent Neural Networks (RNNs) and their extensions, the Long Short Term Memory (LSTM) network and the Gated Recurrent Unit (GRU), are among the most used models, having a "term-to-term" sequence processing. However, if many works create extensions and improvements of the RNN, few have focused on developing other ways for sequential data processing with neural networks in a "term-to-term" way. This paper proposes the original Hidden Neural Markov Chain (HNMC) framework, a new family of sequential neural models. They are not based on the RNN but on the Hidden Markov Model (HMM), a probabilistic graphical model. This neural extension is possible thanks to the recent Entropic Forward-Backward algorithm for HMM restoration. We propose three different models: the classic HNMC, the HNMC2, and the HNMC-CN. After describing our models' whole construction, we compare them with classic RNN and Bidirectional RNN (BiRNN) models for some sequence labeling tasks: Chunking, Part-Of-Speech Tagging, and Named Entity Recognition. For every experiment, whatever the architecture or the embedding method used, one of our proposed models has the best results. It shows this new neural sequential framework's potential, which can open the way to new models, and might eventually compete with the prevalent BiLSTM and BiGRU.
Abstract（参考訳）: 今日では、ニューラルネットワークモデルはコンピュータビジョンや音声処理など、多くの分野で最先端の結果を達成する。特に自然言語処理(NLP)タスク、リカレントニューラルネットワーク(RNN)とその拡張のために、Long Short Term Memory(LSTM)ネットワークとGated Recurrent Unit(GRU)が最もよく使われているモデルであり、「長期」シーケンス処理を備えている。しかしながら、多くの研究がRNNの拡張と改善を作成している場合、ニューラルネットワークによるシーケンシャルなデータ処理を“長期的”な方法で開発することに重点を置いているものはほとんどない。本稿では,ニューラルモデルの新しいファミリーであるHNMC(Hidden Neural Markov Chain)フレームワークを提案する。それらはRNNではなく、確率的グラフィカルモデルであるHidden Markov Model (HMM)に基づいている。この神経拡張は、最近のHMM復元のためのエントロピックフォワードバックワードアルゴリズムのおかげで可能である。我々は,古典的HNMC,HNMC2,HNMC-CNの3つのモデルを提案する。モデル全体の構成を説明した後、Chunking、Part-Of-Speech Tagging、Named Entity Recognitionといったシーケンスラベリングタスクの古典的なRNNとBidirectional RNN(BiRNN)モデルと比較した。どの実験でも、アーキテクチャや組み込みメソッドが何であれ、提案するモデルの1つが最良の結果を得ます。これはこの新しいニューラルネットワークシーケンシャルフレームワークの可能性を示し、新しいモデルへの道を開くことができ、最終的には一般的なBiLSTMやBiGRUと競合する可能性がある。

関連論文リスト

Learning Long Sequences in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
論文参考訳（メタデータ） (2023-12-14T13:30:27Z)
Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
論文参考訳（メタデータ） (2023-11-08T16:50:05Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。 DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
論文参考訳（メタデータ） (2023-02-27T19:00:05Z)
Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement [11.591247347259317]
RNNをモジュールに分解する最初の手法を提案する。我々は,Vanilla,LSTM,GRUなど,さまざまな種類のRNNを研究している。本稿では,RNNモジュールを再利用し,様々なシナリオで置き換える方法について述べる。
論文参考訳（メタデータ） (2022-12-09T03:29:38Z)
MGDCF: Distance Learning via Markov Graph Diffusion for Neural Collaborative Filtering [96.65234340724237]
現状のGNNベースCFモデルとコンテキスト符号化に基づく従来の1層NRLモデルとの等価性を示す。マルコフグラフ拡散協調フィルタ (MGDCF) を用いて, 最先端のGNNベースCFモデルを一般化する。
論文参考訳（メタデータ） (2022-04-05T17:24:32Z)
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文参考訳（メタデータ） (2021-11-29T09:30:06Z)
A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文参考訳（メタデータ） (2020-10-05T04:57:18Z)
Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
論文参考訳（メタデータ） (2020-09-18T10:13:36Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。