論文の概要: Neural Latent Dependency Model for Sequence Labeling

• arxiv url: http://arxiv.org/abs/2011.05009v1
• Date: Tue, 10 Nov 2020 10:05:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 07:49:06.447820
• Title: Neural Latent Dependency Model for Sequence Labeling
• Title（参考訳）: シーケンスラベリングのためのニューラル潜時依存モデル
• Authors: Yang Zhou, Yong Jiang, Zechuan Hu, Kewei Tu
• Abstract要約: シークエンスラベリングにおける古典的アプローチは線形鎖条件付きランダムフィールド(CRF)である 線形鎖 CRF の1つの制限は、ラベル間の長距離依存をモデル化できないことである。 高次 CRF は線形鎖 CRF をその順序以上に拡張するが、計算複雑性は指数関数的に増大する。 木構造を持つラベル間の任意の長さをモデル化するニューラル潜時依存モデル(NLDM)を提案する。
• 参考スコア（独自算出の注目度）: 47.32215014130811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence labeling is a fundamental problem in machine learning, natural language processing and many other fields. A classic approach to sequence labeling is linear chain conditional random fields (CRFs). When combined with neural network encoders, they achieve very good performance in many sequence labeling tasks. One limitation of linear chain CRFs is their inability to model long-range dependencies between labels. High order CRFs extend linear chain CRFs by modeling dependencies no longer than their order, but the computational complexity grows exponentially in the order. In this paper, we propose the Neural Latent Dependency Model (NLDM) that models dependencies of arbitrary length between labels with a latent tree structure. We develop an end-to-end training algorithm and a polynomial-time inference algorithm of our model. We evaluate our model on both synthetic and real datasets and show that our model outperforms strong baselines.
• Abstract（参考訳）: シーケンスラベリングは、機械学習、自然言語処理、その他多くの分野における基本的な問題である。 配列ラベリングの古典的なアプローチは線形連鎖条件確率場(crfs)である。 ニューラルネットワークエンコーダと組み合わせると、多くのシーケンスラベリングタスクで非常に優れたパフォーマンスが得られる。 線形鎖 CRF の制限の一つは、ラベル間の長距離依存をモデル化できないことである。 高次 CRF は線形鎖 CRF を拡張し、依存関係をモデル化するが、計算複雑性は指数関数的に増大する。 本稿では,潜在木構造を持つラベル間の任意の長さの依存性をモデル化するニューラル潜在依存モデル(nldm)を提案する。 エンド・ツー・エンドのトレーニングアルゴリズムと多項式時間推論アルゴリズムを開発した。 合成データセットと実データの両方でモデルを評価し,モデルが強いベースラインより優れていることを示す。

関連論文リスト

• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
  階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。 言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2023-11-08T16:50:05Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• HiPool: Modeling Long Documents Using Graph Neural Networks [24.91040673099863]
  自然言語処理(NLP)の長いシーケンスは難しい問題である。 最近の事前学習言語モデルは、多くのNLPタスクにおいて満足な性能を達成する。 我々は,最大53kのサンプルと平均トークンの長さ4034のデータセットを合計6つ集めて,新たな挑戦的ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-05-05T06:58:24Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Granger Causality using Neural Networks [7.62566998854384]
  本稿では,非線型性を計算的に効率的に処理できる新しいモデルのクラスを提案する。 罰則を分離することで、遅延と個々の時系列の重要度を直接分離できることを示す。 GC推定のプロセス中にラグ順を選択したいので、これは重要です。
  論文  参考訳（メタデータ） (2022-08-07T12:02:48Z)
• Seasonal Encoder-Decoder Architecture for Forecasting [1.9188864062289432]
  本稿では,季節相関をインテリジェントに捉えた新しいRNNアーキテクチャを提案する。 それはよく知られたエンコーダ・デコーダ(ED)アーキテクチャと乗法的季節自動回帰モデルから動機付けられている。 単一または複数のシーケンスデータに使用できる。
  論文  参考訳（メタデータ） (2022-07-08T20:06:45Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Multi-Scale Label Relation Learning for Multi-Label Classification Using 1-Dimensional Convolutional Neural Networks [0.5801044612920815]
  MSDN(Multi-Scale Label Dependence Relation Networks)を提案する。 MSDNは1次元の畳み込みカーネルを使用してラベルの依存関係をマルチスケールで学習する。 我々は,RNNベースのMLCモデルと比較して,モデルパラメータの少ないモデルで精度を向上できることを実証した。
  論文  参考訳（メタデータ） (2021-07-13T09:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。