論文の概要: GPT-too: A language-model-first approach for AMR-to-text generation

• arxiv url: http://arxiv.org/abs/2005.09123v2
• Date: Wed, 27 May 2020 11:24:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 22:55:15.906060
• Title: GPT-too: A language-model-first approach for AMR-to-text generation
• Title（参考訳）: GPT-too: AMR-to-text生成のための言語モデルファーストアプローチ
• Authors: Manuel Mager, Ramon Fernandez Astudillo, Tahira Naseem, Md Arafat Sultan, Young-Suk Lee, Radu Florian and Salim Roukos
• Abstract要約: 本稿では,事前学習型言語モデルとサイクル整合性に基づく再描画を併用したアプローチを提案する。 アプローチの単純さにもかかわらず、実験結果は、これらのモデルが過去のすべての手法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 22.65728041544785
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Meaning Representations (AMRs) are broad-coverage sentence-level semantic graphs. Existing approaches to generating text from AMR have focused on training sequence-to-sequence or graph-to-sequence models on AMR annotated data only. In this paper, we propose an alternative approach that combines a strong pre-trained language model with cycle consistency-based re-scoring. Despite the simplicity of the approach, our experimental results show these models outperform all previous techniques on the English LDC2017T10dataset, including the recent use of transformer architectures. In addition to the standard evaluation metrics, we provide human evaluation experiments that further substantiate the strength of our approach.
• Abstract（参考訳）: AMR(Meaning Representations)は、広範囲の文レベルの意味グラフである。 AMRからテキストを生成するための既存のアプローチは、アノテートされたデータのみに対するシーケンス・ツー・シーケンスやグラフ・ツー・シーケンスのトレーニングに重点を置いている。 本稿では,強い事前学習言語モデルとサイクル一貫性に基づく再スコーリングを組み合わせた代替手法を提案する。 提案手法の単純さにもかかわらず,本実験の結果は,最近の変圧器アーキテクチャの使用を含む,英語のLDC2017T10データベースにおいて,従来の手法よりも優れた性能を示した。 標準的な評価指標に加えて、我々のアプローチの強みをさらに裏付ける人間の評価実験も提供する。

関連論文リスト

• AMR Parsing with Causal Hierarchical Attention and Pointers [54.382865897298046]
  因果的階層的注意とポインタ機構を備えた新しいAMR解析と新しいモデルCHAPを導入する。 実験の結果, 5つのベンチマークのうち4つのベースラインモデルでは, 追加データがない場合に, ベースラインモデルよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-10-18T13:44:26Z)
• Grounded Image Text Matching with Mismatched Relation Reasoning [39.524420144738684]
  GITM-MR(Gunded Image Text Matching with Mismatched Relation)は,新しい視覚言語共同作業である。 GITM-MRは、式が画像を記述するかどうかを最初に決定するためにモデルを必要とし、次に参照オブジェクトをローカライズするか、テキストのミスマッチ部分をグラウンドする。 本稿では、双方向メッセージ伝搬による関係認識推論を組み込んだRCRN(Relation-sensitive Cor correspondence Reasoning Network)を提案する。
  論文  参考訳（メタデータ） (2023-08-02T15:44:36Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• A Survey : Neural Networks for AMR-to-Text [2.3924114046608627]
  AMR-to-Textは、抽象的意味表現(AMR)グラフから文を生成することを目的とした、NLPコミュニティの重要なテクニックの1つである。 2013年にAMRが提案されて以来、AMR-to-Textの研究は、構造化データのテキストへの必須の分岐として、ますます広まりつつある。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing [20.67024416678313]
  我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:36:31Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Improving AMR Parsing with Sequence-to-Sequence Pre-training [39.33133978535497]
  本稿では,Sequence-to-Sequence (seq2seq) AMR解析に焦点を当てる。 単体および関節の両方で事前学習モデルを構築するために,Seq2seq事前学習手法を提案する。 実験の結果,シングルモデルとジョイントモデルの両方で性能が有意に向上した。
  論文  参考訳（メタデータ） (2020-10-05T04:32:47Z)
• Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
  本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。 我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。 実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
  論文  参考訳（メタデータ） (2020-04-07T19:49:58Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)
• Learning by Semantic Similarity Makes Abstractive Summarization Better [13.324006587838522]
  近年のLM, BART, およびベンチマークデータセットCNN/DMの参照要約を比較した。 興味深いことに、モデル生成サマリーは参照サマリーと比較して高いスコアを受け取る。
  論文  参考訳（メタデータ） (2020-02-18T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。