論文の概要: Towards a Decomposable Metric for Explainable Evaluation of Text
Generation from AMR
- arxiv url: http://arxiv.org/abs/2008.08896v3
- Date: Tue, 26 Jan 2021 08:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 03:32:59.636054
- Title: Towards a Decomposable Metric for Explainable Evaluation of Text
Generation from AMR
- Title（参考訳）: amrによるテキスト生成評価のための分解性指標の開発
- Authors: Juri Opitz and Anette Frank
- Abstract要約: AMRシステムは典型的には、生成されたテキストと入力の意味表現が構築された参照テキストを比較するメトリクスを用いて評価される。
このような指標が苦しむ既知の問題に加えて,これらの指標をAMR-to-text評価に適用する場合に新たな問題が発生することを示す。
両原則の履行がAMR-to-text評価に有効であることを示す。
- 参考スコア（独自算出の注目度）: 22.8438857884398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Systems that generate natural language text from abstract meaning
representations such as AMR are typically evaluated using automatic surface
matching metrics that compare the generated texts to reference texts from which
the input meaning representations were constructed. We show that besides
well-known issues from which such metrics suffer, an additional problem arises
when applying these metrics for AMR-to-text evaluation, since an abstract
meaning representation allows for numerous surface realizations. In this work
we aim to alleviate these issues by proposing $\mathcal{M}\mathcal{F}_\beta$, a
decomposable metric that builds on two pillars. The first is the principle of
meaning preservation $\mathcal{M}$: it measures to what extent a given AMR can
be reconstructed from the generated sentence using SOTA AMR parsers and
applying (fine-grained) AMR evaluation metrics to measure the distance between
the original and the reconstructed AMR. The second pillar builds on a principle
of (grammatical) form $\mathcal{F}$ that measures the linguistic quality of the
generated text, which we implement using SOTA language models. In two extensive
pilot studies we show that fulfillment of both principles offers benefits for
AMR-to-text evaluation, including explainability of scores. Since
$\mathcal{M}\mathcal{F}_\beta$ does not necessarily rely on gold AMRs, it may
extend to other text generation tasks.
- Abstract（参考訳）: AMRのような抽象的意味表現から自然言語テキストを生成するシステムは通常、生成されたテキストと入力された意味表現が構築された参照テキストを比較した自動表面マッチングメトリクスを用いて評価される。
このような指標が苦しむ既知の問題に加えて、抽象的な意味表現が多数の表面実現を可能にするため、これらの指標をAMR-to-text評価に適用する場合に新たな問題が生じる。
本研究では、2つの柱の上に構築された分解可能な計量である $\mathcal{M}\mathcal{F}_\beta$ を提案し、これらの問題を緩和することを目的とする。
1つは意味保存の原則である$\mathcal{M}$:SOTA AMRパーサを用いて生成された文から任意のAMRをどの程度再構成できるかを測定し、元のAMRと再構成されたAMRの間の距離を測定するための(きめ細かい)AMR評価指標を適用する。
第2の柱は、SOTA言語モデルを用いて実装した生成されたテキストの言語的品質を測定する、(文法的な)形式 $\mathcal{F}$ の原理に基づいている。
2つの広範なパイロット研究において、両原則の達成は、スコアの説明可能性を含むAMR-to-text評価に利益をもたらすことを示した。
$\mathcal{M}\mathcal{F}_\beta$は必ずしも金のAMRに依存しないので、他のテキスト生成タスクにも拡張できる。
関連論文リスト
- AMR Parsing is Far from Solved: GrAPES, the Granular AMR Parsing
Evaluation Suite [18.674172788583967]
粒状AMR解析評価スイート(GrAPES)
粒状AMR解析評価スイート(GrAPES)について紹介する。
GrAPESは、現在のAMRの能力と欠点を深く明らかにしている。
論文 参考訳（メタデータ） (2023-12-06T13:19:56Z) - Leveraging Denoised Abstract Meaning Representation for Grammatical
Error Correction [53.55440811942249]
文法的誤り訂正(英: Grammatical Error Correction, GEC)とは、誤りのある文を文法的に正しい、意味的に一貫性のある、一貫性のある文に修正する作業である。
本稿では,AMRを付加知識として組み込んだSeq-to-seqモデルであるAMR-GECを提案する。
論文 参考訳（メタデータ） (2023-07-05T09:06:56Z) - An AMR-based Link Prediction Approach for Document-level Event Argument
Extraction [51.77733454436013]
文書レベルのイベント調停抽出(文書レベルEAE)のための抽象的意味表現(AMR)を導入した最近の研究動向
本研究では,AEをAMRグラフ上のリンク予測問題として再検討する。
本稿では,より少ない情報量のサブグラフやエッジタイプを圧縮し,スパン情報を統合し,同じ文書内の事象をハイライトする新たなグラフ構造であるTalored AMR Graph(TAG)を提案する。
論文 参考訳（メタデータ） (2023-05-30T16:07:48Z) - Retrofitting Multilingual Sentence Embeddings with Abstract Meaning
Representation [70.58243648754507]
抽象的意味表現(AMR)を用いた既存の多言語文の埋め込みを改善する新しい手法を提案する。
原文入力と比較すると、AMRは文の中核概念と関係を明確かつ曖昧に表す構造的意味表現である。
実験結果から,多言語文をAMRで埋め込むと,意味的類似性と伝達タスクの両方において,最先端の性能が向上することがわかった。
論文 参考訳（メタデータ） (2022-10-18T11:37:36Z) - A Survey : Neural Networks for AMR-to-Text [2.3924114046608627]
AMR-to-Textは、抽象的意味表現(AMR)グラフから文を生成することを目的とした、NLPコミュニティの重要なテクニックの1つである。
2013年にAMRが提案されて以来、AMR-to-Textの研究は、構造化データのテキストへの必須の分岐として、ますます広まりつつある。
論文 参考訳（メタデータ） (2022-06-15T07:20:28Z) - A Dynamic, Interpreted CheckList for Meaning-oriented NLG Metric
Evaluation -- through the Lens of Semantic Similarity Rating [19.33681537640272]
我々は,意味関連言語現象を中心に組織されたNLGメトリクスのチェックリストを開発した。
各テストインスタンスは、AMRグラフを持つ一対の文と、人間が生成したテキストの意味的類似性または関連性スコアから構成される。
本稿では,AMR の概念よりも語彙的凝集グラフを計算できる新しい指標 GraCo を設計し,CheckList の有用性を実証する。
論文 参考訳（メタデータ） (2022-05-24T16:19:32Z) - Inducing and Using Alignments for Transition-based AMR Parsing [51.35194383275297]
複雑なパイプラインに依存することなくノード間アライメントを学習するAMRのためのニューラルアライメント器を提案する。
我々は,AMR3.0のビームサーチを必要とせず,銀のトレーニングされた性能に適合する,金のみのトレーニングモデルのための新しい最先端技術を得た。
論文 参考訳（メタデータ） (2022-05-03T12:58:36Z) - Smelting Gold and Silver for Improved Multilingual AMR-to-Text
Generation [55.117031558677674]
AMRアノテーションの自動生成技術について検討する。
我々のモデルは、生成した銀AMRを利用する銀(機械翻訳)文で金AMRを訓練した。
我々のモデルは、ドイツ、イタリア、スペイン、中国の芸術のこれまでの状態を大きく上回っている。
論文 参考訳（メタデータ） (2021-09-08T17:55:46Z) - Probabilistic, Structure-Aware Algorithms for Improved Variety,
Accuracy, and Coverage of AMR Alignments [9.74672460306765]
本稿では,抽象的意味表現(AMR)の成分を英文で並べるアルゴリズムを提案する。
教師なし学習をグラフと組み合わせて活用し、前回のAMRから両世界を最大限に活用する。
提案手法は,従来考えられていたより多様なAMRサブ構造を網羅し,ノードとエッジのより高いカバレッジを実現し,精度の高いAMRサブ構造を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:46:32Z) - Making Better Use of Bilingual Information for Cross-Lingual AMR Parsing [88.08581016329398]
概念の誤認は、英語のトークンとAMRの概念の関連性が高いためである、と我々は主張する。
モデルがより正確な概念を予測できるように、バイリンガル入力、すなわち翻訳されたテキストと非英語のテキストを導入します。
論文 参考訳（メタデータ） (2021-06-09T05:14:54Z) - Translate, then Parse! A strong baseline for Cross-Lingual AMR Parsing [10.495114898741205]
我々は,各言語からの文をAMRに投影し,それらの意味的構造を捉えるモデルを開発した。
本稿では,単純な2ステップベースラインを再検討し,強力なNMTシステムと強力なAMRで拡張する。
実験の結果,T+Pはすべてのテスト言語で最新の最先端システムより優れていることがわかった。
論文 参考訳（メタデータ） (2021-06-08T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。