論文の概要: An Exploration of Arbitrary-Order Sequence Labeling via Energy-Based Inference Networks

• arxiv url: http://arxiv.org/abs/2010.02789v1
• Date: Tue, 6 Oct 2020 14:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 07:04:42.127618
• Title: An Exploration of Arbitrary-Order Sequence Labeling via Energy-Based Inference Networks
• Title（参考訳）: エネルギーベース推論ネットワークを用いた任意順序系列ラベリングの探索
• Authors: Lifu Tu, Tianyu Liu, Kevin Gimpel
• Abstract要約: 本稿では,ラベル間の複雑な依存関係を列ラベリングで捉えるために,高次エネルギー項を提案する。 我々は、畳み込み、再帰、自己注意ネットワークから引き出されたこれらのエネルギー用語に神経パラメータ化を用いる。 提案手法は,4つのシークエンスラベリングタスクにおいて,様々な高次エネルギー項を用いて大幅な改善を実現することを実証的に実証した。
• 参考スコア（独自算出の注目度）: 45.61999800980636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many tasks in natural language processing involve predicting structured outputs, e.g., sequence labeling, semantic role labeling, parsing, and machine translation. Researchers are increasingly applying deep representation learning to these problems, but the structured component of these approaches is usually quite simplistic. In this work, we propose several high-order energy terms to capture complex dependencies among labels in sequence labeling, including several that consider the entire label sequence. We use neural parameterizations for these energy terms, drawing from convolutional, recurrent, and self-attention networks. We use the framework of learning energy-based inference networks (Tu and Gimpel, 2018) for dealing with the difficulties of training and inference with such models. We empirically demonstrate that this approach achieves substantial improvement using a variety of high-order energy terms on four sequence labeling tasks, while having the same decoding speed as simple, local classifiers. We also find high-order energies to help in noisy data conditions.
• Abstract（参考訳）: 自然言語処理における多くのタスクは、シーケンスラベリング、セマンティックロールラベリング、構文解析、機械翻訳などの構造化出力の予測を含む。 研究者たちはこれらの問題に深層表現学習を適用しつつあるが、これらのアプローチの構造的要素は通常非常に単純である。 そこで本研究では,ラベル配列全体を考慮した複数の高次エネルギー項を提案し,ラベル間の複雑な依存関係を列ラベリングで捉える。 我々は、畳み込み、再帰、自己注意ネットワークから引き出されたこれらのエネルギー用語に神経パラメータ化を用いる。 学習エネルギーに基づく推論ネットワーク(tu and gimpel, 2018)の枠組みを用いて,そのようなモデルによるトレーニングや推論の難しさに対処する。 この手法は4つのシーケンスラベリングタスクで様々な高次エネルギー項を用いることで、単純で局所的な分類器と同じ復号速度で大幅に改善できることを実証的に証明する。 また、ノイズの多いデータ条件に対処する高次エネルギーも見出す。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Harnessing the Power of Beta Scoring in Deep Active Learning for Multi-Label Text Classification [6.662167018900634]
  本研究は,期待損失削減フレームワーク内の適切なスコアリングルールのベータファミリを活かした,新たなアクティブな学習戦略を提案する。 これはBeta Scoring Rulesを使って期待されるスコアの増加を計算し、次にサンプルベクトル表現に変換する。 合成データセットと実データセットの総合的な評価により,複数ラベルのテキスト分類において,確立された取得技術を上回る性能が得られた。
  論文  参考訳（メタデータ） (2024-01-15T00:06:24Z)
• Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers [6.744385328015561]
  Apple SiriやAmazon Alexaのようなタスク指向の対話システムは、ユーザの発話を処理し、実行するアクションを理解するために意味解析モジュールを必要とする。 この意味解析コンポーネントは最初、単純なクエリを処理するためのルールベースまたは統計的スロット補完アプローチによって実装された。 本稿では,タスク指向対話のためのニューラル・リデューサ・セマンティック・パーシングの研究を前進させる。
  論文  参考訳（メタデータ） (2022-10-21T14:19:47Z)
• Sequence-Level Mixed Sample Data Augmentation [119.94667752029143]
  本研究は、シーケンス対シーケンス問題に対するニューラルモデルにおける合成行動を促進するための単純なデータ拡張手法を提案する。 我々の手法であるSeqMixは、トレーニングセットから入力/出力シーケンスをソフトに結合することで、新しい合成例を作成する。
  論文  参考訳（メタデータ） (2020-11-18T02:18:04Z)
• Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
  キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。 最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。 本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:11:23Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• Transition-based Semantic Dependency Parsing with Pointer Networks [0.34376560669160383]
  本稿では,ラベル付き非巡回グラフを容易に生成し,セマンティック依存解析を行う遷移システムを提案する。 BERTから抽出した深層文脈化単語埋め込みによるアプローチを強化する。 結果として得られたシステムは、既存のトランジションベースモデルをすべて上回るだけでなく、SemEval 2015 18の英語データセットでこれまでで最高の完全教師付き精度を達成している。
  論文  参考訳（メタデータ） (2020-05-27T13:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。