論文の概要: Inducing and Using Alignments for Transition-based AMR Parsing

• arxiv url: http://arxiv.org/abs/2205.01464v1
• Date: Tue, 3 May 2022 12:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 14:04:42.919626
• Title: Inducing and Using Alignments for Transition-based AMR Parsing
• Title（参考訳）: 遷移型AMR解析のためのアライメントの導入と利用
• Authors: Andrew Drozdov, Jiawei Zhou, Radu Florian, Andrew McCallum, Tahira Naseem, Yoon Kim, Ramon Fernandez Astudillo
• Abstract要約: 複雑なパイプラインに依存することなくノード間アライメントを学習するAMRのためのニューラルアライメント器を提案する。 我々は,AMR3.0のビームサーチを必要とせず,銀のトレーニングされた性能に適合する,金のみのトレーニングモデルのための新しい最先端技術を得た。
• 参考スコア（独自算出の注目度）: 51.35194383275297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transition-based parsers for Abstract Meaning Representation (AMR) rely on node-to-word alignments. These alignments are learned separately from parser training and require a complex pipeline of rule-based components, pre-processing, and post-processing to satisfy domain-specific constraints. Parsers also train on a point-estimate of the alignment pipeline, neglecting the uncertainty due to the inherent ambiguity of alignment. In this work we explore two avenues for overcoming these limitations. First, we propose a neural aligner for AMR that learns node-to-word alignments without relying on complex pipelines. We subsequently explore a tighter integration of aligner and parser training by considering a distribution over oracle action sequences arising from aligner uncertainty. Empirical results show this approach leads to more accurate alignments and generalization better from the AMR2.0 to AMR3.0 corpora. We attain a new state-of-the art for gold-only trained models, matching silver-trained performance without the need for beam search on AMR3.0.
• Abstract（参考訳）: AMR(Abstract Meaning Representation)のトランジションベースのパーサはノード間アライメントに依存している。 これらのアライメントはパーサトレーニングから独立して学習され、ドメイン固有の制約を満たすためにルールベースのコンポーネント、前処理、後処理の複雑なパイプラインが必要です。 パーサーはアライメントパイプラインの点推定も行っており、アライメントの本来の曖昧さのために不確実性を無視している。 この研究では、これらの制限を克服するための2つの道を探る。 まず,複雑なパイプラインに依存することなく,ノード間アライメントを学習するamr用ニューラルネットワークアライナーを提案する。 その後、整合性の不確実性に起因するオラクル行動系列の分布を考慮し、整合性およびパーサ訓練のより緊密な統合を検討する。 実験により、このアプローチはAMR2.0からAMR3.0コーパスへのより正確なアライメントと一般化をもたらすことが示された。 我々は,AMR3.0のビームサーチを必要とせず,銀トレーニングされた性能に適合する金専用訓練モデルの新たな最先端技術を得る。

関連論文リスト

• On The Global Convergence Of Online RLHF With Neural Parametrization [36.239015146313136]
  Reinforcement Learning from Human Feedback (RLHF)は、大きな言語モデルと人間の価値を結びつけることを目的としている。 RLHFは、教師付き微調整、報酬学習、政策学習を含む3段階のプロセスである。 本稿では、パラメータ化設定におけるAIアライメントのための2段階の定式化を提案し、この問題を解決するための一階法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T03:13:35Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Guiding AMR Parsing with Reverse Graph Linearization [45.37129580211495]
  本稿では,AMR解析のためのReverse Graph Linearization(RGL)フレームワークを提案する。 RGLは、AMRグラフのデフォルトおよび逆線形化順序を定義する。 提案手法は, AMR 2.0 と AMR 3.0 データセットにおいて, 従来最高の AMR 解析モデルである 0.8 と 0.5 の Smatch スコアをそれぞれ上回り, 構造損失蓄積の問題を著しく軽減することを示す。
  論文  参考訳（メタデータ） (2023-10-13T05:03:13Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval [54.66399120084227]
  本稿では,BERMと呼ばれるマッチング信号の取得により,高密度検索の一般化を改善する手法を提案する。 センス検索は、ドメイン内のラベル付きデータセットでトレーニングされた場合、第1段階の検索プロセスにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2023-05-18T15:43:09Z)
• Probabilistic, Structure-Aware Algorithms for Improved Variety, Accuracy, and Coverage of AMR Alignments [9.74672460306765]
  本稿では,抽象的意味表現(AMR)の成分を英文で並べるアルゴリズムを提案する。 教師なし学習をグラフと組み合わせて活用し、前回のAMRから両世界を最大限に活用する。 提案手法は,従来考えられていたより多様なAMRサブ構造を網羅し,ノードとエッジのより高いカバレッジを実現し,精度の高いAMRサブ構造を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:46:32Z)
• A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing [75.36126971685034]
  我々は、アライメントとセグメンテーションをモデルの潜在変数として扱い、エンドツーエンドのトレーニングの一部としてそれらを誘導する。 また,AMRの個々の構造を扱うために手作りされたLyu2018AMRPAのセグメンテーションルールに依存するモデルにもアプローチした。
  論文  参考訳（メタデータ） (2020-10-23T21:22:50Z)
• Accurate Word Alignment Induction from Neural Machine Translation [33.21196289328584]
  本稿では2つの単語アライメント誘導手法 Shift-Att と Shift-AET を提案する。 主なアイデアは、to-be-alignedターゲットトークンがデコーダ入力であるときに、ステップでアライメントを誘導することである。 3つの公開データセットの実験では、両方のメソッドが対応する神経ベースラインよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-04-30T14:47:05Z)
• Stratified Rule-Aware Network for Abstract Visual Reasoning [46.015682319351676]
  Raven's Progressive Matrices (RPM) テストは一般的に抽象的推論の能力を調べるために使用される。 畳み込みニューラルネットワーク(CNN)を利用した最近の研究は、RPMテストを達成するための奨励的な進歩を達成している。 本稿では,2つの入力シーケンスに対するルール埋め込みを生成するためのSRAN(Stratified Rule-Aware Network)を提案する。
  論文  参考訳（メタデータ） (2020-02-17T08:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。