Fugu-MT 論文翻訳(概要): Something Old, Something New: Grammar-based CCG Parsing with Transformer Models

論文の概要: Something Old, Something New: Grammar-based CCG Parsing with Transformer Models

arxiv url: http://arxiv.org/abs/2109.10044v1
Date: Tue, 21 Sep 2021 09:20:12 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 21:49:11.919943
Title: Something Old, Something New: Grammar-based CCG Parsing with Transformer Models
Title（参考訳）: 古いもの、新しいもの:変圧器モデルを用いた文法ベースのCCG解析
Authors: Stephen Clark
Abstract要約: 本稿では, Combinatory Categorial Grammar (CCG) の構文解析問題について述べる。トランスフォーマーベースのニューラルモデルとシンボリックCG文法の組み合わせが、既存のアプローチよりも大幅に向上することを示している。また、NLP法がこの期間にどのように進化してきたかを示す20年間の研究プログラムも文書化されている。
参考スコア（独自算出の注目度）: 13.035551917639692
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This report describes the parsing problem for Combinatory Categorial Grammar (CCG), showing how a combination of Transformer-based neural models and a symbolic CCG grammar can lead to substantial gains over existing approaches. The report also documents a 20-year research program, showing how NLP methods have evolved over this time. The staggering accuracy improvements provided by neural models for CCG parsing can be seen as a reflection of the improvements seen in NLP more generally. The report provides a minimal introduction to CCG and CCG parsing, with many pointers to the relevant literature. It then describes the CCG supertagging problem, and some recent work from Tian et al. (2020) which applies Transformer-based models to supertagging with great effect. I use this existing model to develop a CCG multitagger, which can serve as a front-end to an existing CCG parser. Simply using this new multitagger provides substantial gains in parsing accuracy. I then show how a Transformer-based model from the parsing literature can be combined with the grammar-based CCG parser, setting a new state-of-the-art for the CCGbank parsing task of almost 93% F-score for labelled dependencies, with complete sentence accuracies of over 50%.
Abstract（参考訳）: 本稿では, Combinatory Categorial Grammar (CCG) における解析問題について述べる。トランスフォーマーに基づくニューラルモデルと記号CCG文法の組み合わせが,既存のアプローチよりも大幅に向上することを示す。報告書はまた、20年間にわたる研究プログラムを文書化し、NLP法がこの期間にどのように進化してきたかを示した。 CCG解析のためのニューラルモデルによって提供されるステージング精度の改善は、NLPで一般的に見られる改善の反映と見なすことができる。このレポートはccgとccg構文解析の紹介を最小限にし、関連する文献への多くのポインタを提供している。その後、CCGスーパータギング問題と、Transformerベースのモデルを大きな効果でスーパータギングに適用するTian et al. (2020)の最近の研究について説明する。私は、既存のCCGパーサのフロントエンドとして機能するCCGマルチタガーを開発するために、この既存のモデルを使用します。この新しいマルチタグを使用すると、パース精度が大幅に向上する。次に、解析文献からトランスフォーマーベースのモデルを文法ベースのCGパーサと組み合わせて、ラベル付き依存に対して93%のFスコアでCCGbank構文解析タスクの最先端を50%以上の完全文精度で設定する方法を示す。

関連論文リスト

Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
論文参考訳（メタデータ） (2024-06-11T09:37:52Z)
Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文参考訳（メタデータ） (2024-01-28T08:56:49Z)
Separate-and-Aggregate: A Transformer-based Patch Refinement Model for Knowledge Graph Completion [28.79628925695775]
本稿では,知識グラフ補完のための新しいトランスフォーマーベースのパッチリファインメントモデル(PatReFormer)を提案する。我々は4つのKGCベンチマーク(WN18RR, FB15k-237, YAGO37, DB100K)で実験を行った。実験結果から, 既存のKGC法と標準KGC評価指標との有意な性能向上が得られた。
論文参考訳（メタデータ） (2023-07-11T06:27:13Z)
From the One, Judge of the Whole: Typed Entailment Graph Construction with Predicate Generation [69.91691115264132]
Entailment Graphs (EG) は、自然言語における文脈に依存しないentailment関係を示すために構築される。本稿では,この問題に対処する多段階型述語グラフ生成器(TP-EGG)を提案する。ベンチマークデータセットの実験では、TP-EGGは高品質でスケール制御可能なエンターメントグラフを生成することができる。
論文参考訳（メタデータ） (2023-06-07T05:46:19Z)
Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文参考訳（メタデータ） (2023-05-31T16:47:20Z)
Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
論文参考訳（メタデータ） (2023-03-28T02:10:37Z)
CSynGEC: Incorporating Constituent-based Syntax for Grammatical Error Correction with a Tailored GEC-Oriented Parser [22.942594068051488]
この研究は、他の主流構文形式、すなわち構成型構文を考慮に入れている。まず,非文法文の誤りに対応するための拡張構成型構文スキームを提案する。そして,非文法文の区切り木を自動的に取得し,GCC指向の区切り木を訓練する。
論文参考訳（メタデータ） (2022-11-15T14:11:39Z)
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-11-17T02:51:37Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
DisCoDisCo at the DISRPT2021 Shared Task: A System for Discourse Segmentation, Classification, and Connective Detection [4.371388370559826]
我々のシステムはDisCoDisCoと呼ばれ、コンテキスト化された単語の埋め込みを手作りの機能で強化する。関係分類の結果は、新しい2021ベンチマークで強い性能を示している。複数の事前学習されたトランスフォーマーベース言語モデルの部分評価は、Next Sentence Predictionタスクで事前学習されたモデルが関係分類に最適であることを示している。
論文参考訳（メタデータ） (2021-09-20T18:11:05Z)
Supertagging Combinatory Categorial Grammar with Attentive Graph Convolutional Networks [34.74687603029737]
そこで我々は,文脈情報を活用する新しい手法により,ニューラルネットワークのCCGスーパータグ付けを強化するため,注意グラフ畳み込みネットワークを提案する。 CCGbankで行った実験は、我々のアプローチがスーパータグとパーシングの両方で過去のすべての研究より優れていることを示した。
論文参考訳（メタデータ） (2020-10-13T01:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。