論文の概要: Maximum Bayes Smatch Ensemble Distillation for AMR Parsing

• arxiv url: http://arxiv.org/abs/2112.07790v1
• Date: Tue, 14 Dec 2021 23:29:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 04:30:54.872781
• Title: Maximum Bayes Smatch Ensemble Distillation for AMR Parsing
• Title（参考訳）: AMRパーシングのための最大ベイズスマッチ蒸留法
• Authors: Young-Suk Lee, Ramon Fernandez Astudillo, Thanh Lam Hoang, Tahira Naseem, Radu Florian, Salim Roukos
• Abstract要約: 本研究では,Smatchをベースとしたアンサンブル法とアンサンブル蒸留を併用することにより,銀データの還元率の低下を克服できることを示す。 我々は中国語、ドイツ語、イタリア語、スペイン語の言語間AMR解析のための新しい最先端技術を得た。
• 参考スコア（独自算出の注目度）: 15.344108027018006
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: AMR parsing has experienced an unprecendented increase in performance in the last three years, due to a mixture of effects including architecture improvements and transfer learning. Self-learning techniques have also played a role in pushing performance forward. However, for most recent high performant parsers, the effect of self-learning and silver data generation seems to be fading. In this paper we show that it is possible to overcome this diminishing returns of silver data by combining Smatch-based ensembling techniques with ensemble distillation. In an extensive experimental setup, we push single model English parser performance above 85 Smatch for the first time and return to substantial gains. We also attain a new state-of-the-art for cross-lingual AMR parsing for Chinese, German, Italian and Spanish. Finally we explore the impact of the proposed distillation technique on domain adaptation, and show that it can produce gains rivaling those of human annotated data for QALD-9 and achieve a new state-of-the-art for BioAMR.
• Abstract（参考訳）: AMR解析は、アーキテクチャの改善とトランスファーラーニングを含むさまざまな効果により、過去3年間に予期せぬパフォーマンス向上を経験した。 自己学習のテクニックは、パフォーマンスを前進させる上でも重要な役割を果たしています。 しかし、最近の高性能パーサーでは、自己学習と銀データ生成の効果は薄れつつあるようである。 本稿では,スマッチ型センシング技術とアンサンブル蒸留法を組み合わせることで,銀の回収率の低下を克服できることを示す。 広範にわたる実験的なセットアップでは、シングルモデル英語パーサの性能を初めて85 Smatchを超え、実質的なゲインに戻す。 また、中国語、ドイツ語、イタリア語、スペイン語の言語間AMR解析のための新しい最先端技術も獲得した。 最後に,提案した蒸留技術がドメイン適応に与える影響について検討し,QALD-9のヒト注釈データに匹敵する利得を得られることを示すとともに,バイオAMRの新たな最先端技術を実現する。

関連論文リスト

• Retrosynthesis prediction enhanced by in-silico reaction data augmentation [66.5643280109899]
  RetroWISEは,実データから推定されるベースモデルを用いて,シリコン内反応の生成と増大を行うフレームワークである。 3つのベンチマークデータセットで、RetroWISEは最先端モデルに対して最高の全体的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-31T07:40:37Z)
• Rethink the Effectiveness of Text Data Augmentation: An Empirical Analysis [4.771833920251869]
  我々は,7つの異なるNLPタスクの配列にまたがるバックトランスレーションと共役する3種類のFT手法の有効性を評価する。 以上の結果から,強化データによる事前学習が,下流タスクのFT性能を効果的に向上させることが明らかとなった。 我々の発見は、LMのパフォーマンスを高める強力なツールとして、DAの可能性を強調します。
  論文  参考訳（メタデータ） (2023-06-13T10:14:58Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• A Self-Paced Mixed Distillation Method for Non-Autoregressive Generation [135.84684279852098]
  非自己回帰(NAR)モデルは、様々な言語生成タスクにおけるオート回帰(AR)モデルの性能が著しく低い。 NARモデルの中で、BANGは英語未ラベルの原文コーパス上で最初の大規模事前学習モデルである。 そこで本研究では,BANGの生成品質をさらに向上させる,自己ペースト混合蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:54:53Z)
• From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective [15.542082655342476]
  スパース拡張ベースのレトリバーであるSPLADEを使って構築し、密集したモデルと同じトレーニング改善の恩恵を受けることができるかを示します。 ドメイン内およびゼロショット設定における有効性と効率の関係について検討する。
  論文  参考訳（メタデータ） (2022-05-10T08:08:43Z)
• Smelting Gold and Silver for Improved Multilingual AMR-to-Text Generation [55.117031558677674]
  AMRアノテーションの自動生成技術について検討する。 我々のモデルは、生成した銀AMRを利用する銀(機械翻訳)文で金AMRを訓練した。 我々のモデルは、ドイツ、イタリア、スペイン、中国の芸術のこれまでの状態を大きく上回っている。
  論文  参考訳（メタデータ） (2021-09-08T17:55:46Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Pushing the Limits of AMR Parsing with Self-Learning [24.998016423211375]
  AMR解析性能を向上させるために, トレーニングモデルの適用方法を示す。 我々は、追加の人間のアノテーションがなければ、これらのテクニックが既にパフォーマンスを向上し、最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-20T23:45:04Z)
• Improving AMR Parsing with Sequence-to-Sequence Pre-training [39.33133978535497]
  本稿では,Sequence-to-Sequence (seq2seq) AMR解析に焦点を当てる。 単体および関節の両方で事前学習モデルを構築するために,Seq2seq事前学習手法を提案する。 実験の結果,シングルモデルとジョイントモデルの両方で性能が有意に向上した。
  論文  参考訳（メタデータ） (2020-10-05T04:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。