論文の概要: jp-evalb: Robust Alignment-based PARSEVAL Measures
- arxiv url: http://arxiv.org/abs/2405.14150v1
- Date: Thu, 23 May 2024 03:54:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 19:05:09.647557
- Title: jp-evalb: Robust Alignment-based PARSEVAL Measures
- Title（参考訳）: jp-evalb:ロバストアライメントに基づくPARSEVAL対策
- Authors: Jungyeul Park, Junrui Wang, Eunkyul Leah Jo, Angela Yoonseo Park,
- Abstract要約: PARSEVAL測度を計算するための評価システムを提案する。
textttevalbという手法はアライメント手法に基づいて構築されている。
JP(Jointly Preprocessed)のアライメントに基づく手法を用いて,Textttevalbに関連するいくつかの既知の問題を克服することを目的としている。
- 参考スコア（独自算出の注目度）: 1.4642314911344287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce an evaluation system designed to compute PARSEVAL measures, offering a viable alternative to \texttt{evalb} commonly used for constituency parsing evaluation. The widely used \texttt{evalb} script has traditionally been employed for evaluating the accuracy of constituency parsing results, albeit with the requirement for consistent tokenization and sentence boundaries. In contrast, our approach, named \texttt{jp-evalb}, is founded on an alignment method. This method aligns sentences and words when discrepancies arise. It aims to overcome several known issues associated with \texttt{evalb} by utilizing the `jointly preprocessed (JP)' alignment-based method. We introduce a more flexible and adaptive framework, ultimately contributing to a more accurate assessment of constituency parsing performance.
- Abstract（参考訳）: 本稿では, PARSEVAL測度を計算するために設計された評価システムを導入し, 選挙区解析評価によく用いられる「texttt{evalb}」の代替手段を提供する。
広く使われている‘texttt{evalb} スクリプトは伝統的に、一貫したトークン化と文境界の要件にもかかわらず、選挙区解析結果の精度を評価するために使われてきた。
対照的に、我々のアプローチは、アライメント法に基づいて、texttt{jp-evalb} と呼ばれる。
この方法は、相違が生じたときに文と単語を一致させる。
これは、 'jointly preprocessed (JP)' アライメントベースのメソッドを利用することで、‘texttt{evalb} に関連する既知の問題を克服することを目的としている。
より柔軟で適応的なフレームワークを導入し、究極的には、選挙区解析性能のより正確な評価に寄与する。
関連論文リスト
- Fine-grained Controllable Text Generation through In-context Learning with Feedback [57.396980277089135]
本稿では,依存度などの非自明な言語的特徴の特定の値に一致させるために,入力文を書き換える手法を提案する。
従来の研究とは対照的に、本手法は微調整ではなく文脈内学習を用いており、データが少ないユースケースに適用できる。
論文 参考訳（メタデータ） (2024-06-17T08:55:48Z) - Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。
既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。
本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
論文 参考訳（メタデータ） (2024-02-26T05:30:48Z) - Structured Tree Alignment for Evaluation of (Speech) Constituency Parsing [43.758912958903494]
本稿では, 音声評価の問題に起因した, 区切り木間の類似度尺度STRUCT-IOUについて述べる。
パラメータを計算するために,音声領域に強制アライメントを施して接地構文解析木を投影し,予測された接地構造成分と予測された成分を一定の制約下で整列させ,すべての整列構成ペアの平均IOUスコアを算出する。
論文 参考訳（メタデータ） (2024-02-21T00:01:17Z) - Contextual Biasing with the Knuth-Morris-Pratt Matching Algorithm [45.42075576656938]
文脈バイアスとは、音声認識システムを希少な実体に偏り付ける問題を指す。
パターンマッチングのためのKnuth-Morris-Prattアルゴリズムに基づく文脈バイアスのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-29T22:50:10Z) - Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。
最終事実度スコアは、調整可能なスコアリング機構により算出される。
英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
論文 参考訳（メタデータ） (2023-05-22T17:59:42Z) - KNNs of Semantic Encodings for Rating Prediction [9.099316505624726]
本稿では,テキストのセマンティックな類似性を,評価予測のためのユーザ参照表現に応用することを提案する。
このアプローチは、エッジが意味的類似性によって定義されるレビューテキストからのテキストスニペットのグラフとして、ユーザの好みを表す。
この手法は定量的に評価され、この方法でテキストを活用することは、強いメモリベースとモデルベースの協調フィルタリングベースラインの両方より優れていることを強調した。
論文 参考訳（メタデータ） (2023-02-01T12:53:31Z) - SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。
文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。
この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文 参考訳（メタデータ） (2022-08-01T17:58:05Z) - A Conditional Splitting Framework for Efficient Constituency Parsing [14.548146390081778]
本稿では,選択性解析問題(シンタクティックおよび談話構文解析)を一連の条件分割決定に当てはめる,汎用的なSeq2seq解析フレームワークを提案する。
解析モデルでは,テキストスパンで可能な分割点の条件付き確率分布を推定し,効率的なトップダウンデコーディングをサポートする。
談話分析では, 談話セグメンテーションを解析の特別な事例として扱うことができる。
論文 参考訳（メタデータ） (2021-06-30T00:36:34Z) - Unsupervised Parsing via Constituency Tests [49.42244463346612]
本稿では,選挙区検定の言語的概念に基づく教師なし解析手法を提案する。
文を与えられた木を生成するために,各木をその選挙区試験判定値の集計によりスコアし,最大スコアの2進木を選択する。
洗練されたモデルはPenn Treebankテストセット上で62.8 F1を達成する。
論文 参考訳（メタデータ） (2020-10-07T04:05:01Z) - Multilingual Alignment of Contextual Word Representations [49.42244463346612]
BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。
単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。
これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
論文 参考訳（メタデータ） (2020-02-10T03:27:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。