論文の概要: AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network

• arxiv url: http://arxiv.org/abs/2009.08229v2
• Date: Mon, 12 Oct 2020 11:59:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:16:10.055144
• Title: AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network
• Title（参考訳）: ain:近似推論ネットワークを用いた高速かつ高精度なシーケンスラベリング
• Authors: Xinyu Wang, Yong Jiang, Nguyen Bach, Tao Wang, Zhongqiang Huang, Fei Huang, Kewei Tu
• Abstract要約: 線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。 厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 75.44925576268052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The linear-chain Conditional Random Field (CRF) model is one of the most widely-used neural sequence labeling approaches. Exact probabilistic inference algorithms such as the forward-backward and Viterbi algorithms are typically applied in training and prediction stages of the CRF model. However, these algorithms require sequential computation that makes parallelization impossible. In this paper, we propose to employ a parallelizable approximate variational inference algorithm for the CRF model. Based on this algorithm, we design an approximate inference network that can be connected with the encoder of the neural CRF model to form an end-to-end network, which is amenable to parallelization for faster training and prediction. The empirical results show that our proposed approaches achieve a 12.7-fold improvement in decoding speed with long sentences and a competitive accuracy compared with the traditional CRF approach.
• Abstract（参考訳）: 線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。 フォワードバックやビタビアルゴリズムのような厳密な確率的推論アルゴリズムは、典型的にはCRFモデルのトレーニングと予測段階に適用される。 しかし、これらのアルゴリズムは並列化を不可能にする逐次計算を必要とする。 本稿では,CRFモデルに対して並列化可能な近似変分推定アルゴリズムを提案する。 このアルゴリズムに基づいて、ニューラルネットワークCRFモデルのエンコーダと接続可能な近似推論ネットワークを設計し、高速なトレーニングと予測のために並列化が可能なエンドツーエンドネットワークを構築する。 実験の結果,提案手法は長文の復号速度を12.7倍に向上し,従来のCRF手法と比較して精度が向上した。

関連論文リスト

• Front-propagation Algorithm: Explainable AI Technique for Extracting Linear Function Approximations from Neural Networks [0.0]
  本稿では、深層ニューラルネットワークの意思決定ロジックの解明を目的とした、新しいAI技術であるフロントプロパゲーションアルゴリズムを紹介する。 積分グラディエントやシェープ値などの他の一般的な説明可能性アルゴリズムとは異なり、提案アルゴリズムはネットワークの正確で一貫した線形関数説明を抽出することができる。 公開されているベンチマークデータセットに基づいてトレーニングされた3つの異なるニューラルネットワークアーキテクチャで、正確な線形関数を提供することの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-25T14:50:23Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
  HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。 実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。 分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-24T19:48:30Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond [19.544213396776268]
  我々は,高次条件場に対する汎用的で効果的なCNNベースライン推論である正規化Frank-Wolfeを導入する。 新しいアルゴリズム、新しいアルゴリズム、新しいデータセット、強力なニューラルネットワークの大幅な改善が示されています。
  論文  参考訳（メタデータ） (2021-10-27T20:44:47Z)
• Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
  本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。 我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。 アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-02-10T01:19:15Z)
• Fast Convergence Algorithm for Analog Federated Learning [30.399830943617772]
  無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。 提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。 我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
  論文  参考訳（メタデータ） (2020-10-30T10:59:49Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。