論文の概要: AMR Parsing is Far from Solved: GrAPES, the Granular AMR Parsing Evaluation Suite

• arxiv url: http://arxiv.org/abs/2312.03480v1
• Date: Wed, 6 Dec 2023 13:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 14:58:50.411378
• Title: AMR Parsing is Far from Solved: GrAPES, the Granular AMR Parsing Evaluation Suite
• Title（参考訳）: AMR解析は解決には程遠い - GrAPES, 粒状AMR解析評価スイート
• Authors: Jonas Groschwitz, Shay B. Cohen, Lucia Donatelli, Meaghan Fowlie
• Abstract要約: 粒状AMR解析評価スイート(GrAPES) 粒状AMR解析評価スイート(GrAPES)について紹介する。 GrAPESは、現在のAMRの能力と欠点を深く明らかにしている。
• 参考スコア（独自算出の注目度）: 18.674172788583967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the Granular AMR Parsing Evaluation Suite (GrAPES), a challenge set for Abstract Meaning Representation (AMR) parsing with accompanying evaluation metrics. AMR parsers now obtain high scores on the standard AMR evaluation metric Smatch, close to or even above reported inter-annotator agreement. But that does not mean that AMR parsing is solved; in fact, human evaluation in previous work indicates that current parsers still quite frequently make errors on node labels or graph structure that substantially distort sentence meaning. Here, we provide an evaluation suite that tests AMR parsers on a range of phenomena of practical, technical, and linguistic interest. Our 36 categories range from seen and unseen labels, to structural generalization, to coreference. GrAPES reveals in depth the abilities and shortcomings of current AMR parsers.
• Abstract（参考訳）: 本稿では,抽象的意味表現(amr)解析のためのチャレンジセットであるgrapes(granite amr parsing evaluation suite)について述べる。 amrパーサは標準のamr評価メトリックスマッチで高いスコアを獲得し、報告されたアノテーション間合意に近いかそれ以上である。 しかし、これはAMR解析が解決されるという意味ではない。実際、以前の研究で人間による評価は、現在のパーサが文の意味を実質的に歪ませるノードラベルやグラフ構造にエラーを頻繁に起こすことを示している。 本稿では,AMRパーサを実用的,技術的,言語学的に興味のある事象の多岐にわたる評価スイートを提供する。 私たちの36のカテゴリは、目に見えないラベルから構造的一般化、コア推論までさまざまです。 GrAPESは、現在のAMRパーサの能力と欠点を深く明らかにしている。

関連論文リスト

• Widely Interpretable Semantic Representation: Frameless Meaning Representation for Broader Applicability [10.710058244695128]
  本稿では,抽象的意味表現 (AMR) の課題を克服する新しい意味表現 WISeR を提案する。 その強みにもかかわらず、AMRは事前に定義されたセマンティックフレームなしでは言語やドメインに簡単に適用できない。 WISeRとAMR WISeRの両方で1Kの英会話文の新たなコーパスを作成する。
  論文  参考訳（メタデータ） (2023-09-12T17:44:40Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• Leveraging Denoised Abstract Meaning Representation for Grammatical Error Correction [53.55440811942249]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)とは、誤りのある文を文法的に正しい、意味的に一貫性のある、一貫性のある文に修正する作業である。 本稿では,AMRを付加知識として組み込んだSeq-to-seqモデルであるAMR-GECを提案する。
  論文  参考訳（メタデータ） (2023-07-05T09:06:56Z)
• An AMR-based Link Prediction Approach for Document-level Event Argument Extraction [51.77733454436013]
  文書レベルのイベント調停抽出(文書レベルEAE)のための抽象的意味表現(AMR)を導入した最近の研究動向 本研究では,AEをAMRグラフ上のリンク予測問題として再検討する。 本稿では,より少ない情報量のサブグラフやエッジタイプを圧縮し,スパン情報を統合し,同じ文書内の事象をハイライトする新たなグラフ構造であるTalored AMR Graph(TAG)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T16:07:48Z)
• Cross-domain Generalization for AMR Parsing [30.34105706152887]
  5つの領域における代表的AMRを5つ評価し,ドメイン間AMR解析の課題を分析した。 そこで本研究では,テキストとAMRの特徴の領域分布のばらつきを低減するための2つの手法について検討した。
  論文  参考訳（メタデータ） (2022-10-22T13:24:13Z)
• Retrofitting Multilingual Sentence Embeddings with Abstract Meaning Representation [70.58243648754507]
  抽象的意味表現(AMR)を用いた既存の多言語文の埋め込みを改善する新しい手法を提案する。 原文入力と比較すると、AMRは文の中核概念と関係を明確かつ曖昧に表す構造的意味表現である。 実験結果から,多言語文をAMRで埋め込むと,意味的類似性と伝達タスクの両方において,最先端の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-18T11:37:36Z)
• Better Smatch = Better Parser? AMR evaluation is not so simple anymore [22.8438857884398]
  我々は,ヒトIAAに匹敵する品質レベルに達する2つのAMRを解析した。 高性能を考えると、より良いSmatchスコアは必ずしもより優れた解析品質を示すとは限らない。
  論文  参考訳（メタデータ） (2022-10-12T17:57:48Z)
• Inducing and Using Alignments for Transition-based AMR Parsing [51.35194383275297]
  複雑なパイプラインに依存することなくノード間アライメントを学習するAMRのためのニューラルアライメント器を提案する。 我々は,AMR3.0のビームサーチを必要とせず,銀のトレーニングされた性能に適合する,金のみのトレーニングモデルのための新しい最先端技術を得た。
  論文  参考訳（メタデータ） (2022-05-03T12:58:36Z)
• Probabilistic, Structure-Aware Algorithms for Improved Variety, Accuracy, and Coverage of AMR Alignments [9.74672460306765]
  本稿では,抽象的意味表現(AMR)の成分を英文で並べるアルゴリズムを提案する。 教師なし学習をグラフと組み合わせて活用し、前回のAMRから両世界を最大限に活用する。 提案手法は,従来考えられていたより多様なAMRサブ構造を網羅し,ノードとエッジのより高いカバレッジを実現し,精度の高いAMRサブ構造を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:46:32Z)
• Making Better Use of Bilingual Information for Cross-Lingual AMR Parsing [88.08581016329398]
  概念の誤認は、英語のトークンとAMRの概念の関連性が高いためである、と我々は主張する。 モデルがより正確な概念を予測できるように、バイリンガル入力、すなわち翻訳されたテキストと非英語のテキストを導入します。
  論文  参考訳（メタデータ） (2021-06-09T05:14:54Z)
• Towards a Decomposable Metric for Explainable Evaluation of Text Generation from AMR [22.8438857884398]
  AMRシステムは典型的には、生成されたテキストと入力の意味表現が構築された参照テキストを比較するメトリクスを用いて評価される。 このような指標が苦しむ既知の問題に加えて,これらの指標をAMR-to-text評価に適用する場合に新たな問題が発生することを示す。 両原則の履行がAMR-to-text評価に有効であることを示す。
  論文  参考訳（メタデータ） (2020-08-20T11:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。