論文の概要: Automatic Prediction of the Performance of Every Parser
- arxiv url: http://arxiv.org/abs/2407.05116v1
- Date: Sat, 6 Jul 2024 15:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 21:08:14.117412
- Title: Automatic Prediction of the Performance of Every Parser
- Title（参考訳）: パーサー毎のパフォーマンスの自動予測
- Authors: Ergun Biçici,
- Abstract要約: 機械翻訳性能予測システム(MTPPS)を用いた新しい性能予測(PPP)モデルを提案する。
この新しいシステムであるMTPPS-PPPは、任意の言語の性能を予測することができ、テキストを理解する際の文法的難易度を推定するのに有用である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a new parser performance prediction (PPP) model using machine translation performance prediction system (MTPPS), statistically independent of any language or parser, relying only on extrinsic and novel features based on textual, link structural, and bracketing tree structural information. This new system, MTPPS-PPP, can predict the performance of any parser in any language and can be useful for estimating the grammatical difficulty when understanding a given text, for setting expectations from parsing output, for parser selection for a specific domain, and for parser combination systems. We obtain SoA results in PPP of bracketing $F_1$ with better results over textual features and similar performance with previous results that use parser and linguistic label specific information. Our results show the contribution of different types of features as well as rankings of individual features in different experimental settings (cased vs. uncased), in different learning tasks (in-domain vs. out-of-domain), with different training sets, with different learning algorithms, and with different dimensionality reduction techniques. We achieve $0.0678$ MAE and $0.85$ RAE in setting +Link, which corresponds to about $7.4\%$ error when predicting the bracketing $F_1$ score for the Charniak and Johnson parser on the WSJ23 test set. MTPPS-PPP system can predict without parsing using only the text, without a supervised parser using only an unsupervised parser, without any parser or language dependent information, without using a reference parser output, and can be used to predict the performance of any parser in any language.
- Abstract（参考訳）: 本稿では,機械翻訳性能予測システム(MTPPS)を用いた新しいパーサ性能予測モデルを提案する。
この新しいシステムであるMPPPS-PPPは、任意の言語におけるパーサの性能を予測することができ、与えられたテキストを理解する際の文法的難易度を推定し、出力のパーサからの期待の設定、特定のドメインに対するパーサの選択、パーサの組み合わせシステムに役立てることができる。
テキスト機能よりも優れた結果を得られる$F_1$と、パーサや言語ラベルの具体的情報を用いた以前の結果と類似した性能で、PSPのSoA結果を得る。
本研究の結果は,異なる学習課題(ドメイン内対ドメイン外),異なる学習セット,異なる学習アルゴリズム,異なる次元化手法による個々の特徴のランキングと,異なる実験環境における個々の特徴の寄与を示す。
我々は、設定+Linkで0.0678$ MAEと0.85$ RAEを達成する。これは、WSJ23テストセットのCharniakとJohnsonパーサーのブラケットのスコアを予測する際に、約7.4\%のエラーに対応する。
MTPPS-PPPシステムは、テキストのみを使用して解析することなく予測でき、教師なしパーサーのみを使用しず、パーサーや言語依存情報を一切使用せず、参照パーサー出力を使わずに予測でき、任意の言語におけるパーサーの性能を予測するのに使うことができる。
関連論文リスト
- Compositional Program Generation for Few-Shot Systematic Generalization [59.57656559816271]
コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャに関する研究
CPGには3つの重要な特徴がある: 文法規則の形で、テキストモジュラリティ、テキストコンポジション、テキストタストラクションである。
SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
論文 参考訳（メタデータ） (2023-09-28T14:33:20Z) - Few-Shot Adaptation for Parsing Contextual Utterances with LLMs [25.22099517947426]
実世界の設定では、アノテーションのコストのため、通常は限られた数の文脈的発話しか存在しない。
対話型意味解析における4つの主要なパラダイムについて検討する。
コンテキスト内学習と微調整の実験は、Rewrite-then-Parseが最も有望なパラダイムであることを示唆している。
論文 参考訳（メタデータ） (2023-09-18T21:35:19Z) - Evaluating the Impact of Source Code Parsers on ML4SE Models [3.699097874146491]
名前予測言語でSupernorm2SeqとTreeLSTMの2つのモデルを評価する。
異なる木によって構築された木は、その構造や内容によって異なることを示す。
そして、この多様性がモデルの品質にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2022-06-17T12:10:04Z) - Penn-Helsinki Parsed Corpus of Early Modern English: First Parsing
Results and Analysis [2.8749014299466444]
本研究は,Penn-Helsinki Parsed Corpus of Early Modern English (PPCEME) の最初の解析結果である。
PPCEMEの重要な特徴として,Penn Treebankよりも大きく,より多様な関数タグを含む,解析の難しさを挙げる。
論文 参考訳（メタデータ） (2021-12-15T23:56:21Z) - Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。
英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。
このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
論文 参考訳（メタデータ） (2021-04-15T16:08:43Z) - Strongly Incremental Constituency Parsing with Graph Neural Networks [70.16880251349093]
文を構文木にパースすることは、NLPの下流アプリケーションに恩恵をもたらす。
トランジッションベースは、状態遷移システムでアクションを実行することでツリーを構築する。
既存のトランジションベースは主にシフト・リデュース・トランジション・システムに基づいている。
論文 参考訳（メタデータ） (2020-10-27T19:19:38Z) - A Simple Global Neural Discourse Parser [61.728994693410954]
本稿では,手作業で構築した特徴を必要とせず,学習したスパン表現のみに基づく簡易なグラフベースニューラル談話を提案する。
我々は,我々のモデルが世界規模で最高の性能を達成し,最先端の欲求に匹敵する性能を実証的に示す。
論文 参考訳（メタデータ） (2020-09-02T19:28:40Z) - Towards Instance-Level Parser Selection for Cross-Lingual Transfer of
Dependency Parsers [59.345145623931636]
我々は、インスタンスレベルの選択(ILPS)という、新しい言語間移動パラダイムを論じる。
本稿では,デレキシライズドトランスファーの枠組みにおけるインスタンスレベルの選択に着目した概念実証研究を提案する。
論文 参考訳（メタデータ） (2020-04-16T13:18:55Z) - Bootstrapping a Crosslingual Semantic Parser [74.99223099702157]
我々は、英語のような単一の言語で訓練された意味を、最小限のアノテーションで新しい言語や複数のドメインに適用する。
我々は、機械翻訳がトレーニングデータの適切な代用であるかどうかを問うとともに、英語、パラフレーズ、多言語事前学習モデルとの併用トレーニングを用いて、ブートストラップを調査するように拡張する。
論文 参考訳（メタデータ） (2020-04-06T12:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。