論文の概要: PriMeSRL-Eval: A Practical Quality Metric for Semantic Role Labeling Systems Evaluation

• arxiv url: http://arxiv.org/abs/2210.06408v1
• Date: Wed, 12 Oct 2022 17:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:32:20.957397
• Title: PriMeSRL-Eval: A Practical Quality Metric for Semantic Role Labeling Systems Evaluation
• Title（参考訳）: PriMeSRL-Eval:セマンティックロールラベルシステム評価のための実践的品質指標
• Authors: Ishan Jindal, Alexandre Rademaker, Khoi-Nguyen Tran, Huaiyu Zhu, Hiroshi Kanayama, Marina Danilevsky, Yunyao Li
• Abstract要約: より厳密なSRL評価指標PriMeSRLを提案する。 また,PriMeSRLは,すべてのSoTA SRLモデルの品質評価を著しく低下させることを示した。 また、PriMeSRLは、SoTA SRLモデルにおける実際の故障を必然的にペナルティ化することを示す。
• 参考スコア（独自算出の注目度）: 66.79238445033795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic role labeling (SRL) identifies the predicate-argument structure in a sentence. This task is usually accomplished in four steps: predicate identification, predicate sense disambiguation, argument identification, and argument classification. Errors introduced at one step propagate to later steps. Unfortunately, the existing SRL evaluation scripts do not consider the full effect of this error propagation aspect. They either evaluate arguments independent of predicate sense (CoNLL09) or do not evaluate predicate sense at all (CoNLL05), yielding an inaccurate SRL model performance on the argument classification task. In this paper, we address key practical issues with existing evaluation scripts and propose a more strict SRL evaluation metric PriMeSRL. We observe that by employing PriMeSRL, the quality evaluation of all SoTA SRL models drops significantly, and their relative rankings also change. We also show that PriMeSRLsuccessfully penalizes actual failures in SoTA SRL models.
• Abstract（参考訳）: 意味的役割ラベリング(srl)は、文中の述語-節構造を識別する。 このタスクは通常、述語識別、述語感覚の曖昧さ、引数識別、引数分類の4つのステップで達成される。 あるステップで導入されたエラーは、後段に伝播する。 残念ながら、既存のSRL評価スクリプトは、このエラー伝搬の側面の完全な効果を考慮していない。 彼らは、述語感覚とは無関係な議論(CoNLL09)を評価するか、全く述語感覚を評価しない(CoNLL05)か、引数分類タスクにおいて不正確なSRLモデル性能をもたらす。 本稿では,既存の評価スクリプトにおける重要な実践的問題に対処し,より厳密なSRL評価指標PriMeSRLを提案する。 また、PriMeSRLを用いることで、全てのSoTA SRLモデルの品質評価が大幅に低下し、相対的なランキングも変化することが観察された。 また、PriMeSRLは、SoTA SRLモデルにおける実際の故障を必然的にペナルティ化することを示す。

関連論文リスト

• DAHRS: Divergence-Aware Hallucination-Remediated SRL Projection [0.7922558880545527]
  多様性を意識した幻覚-SRLプロジェクション(DAHRS) 言語的にインフォームドされた修復アライメントを利用してDAHRSを実装した上で,greedy First-Come First-CFA (F) SRLプロジェクションを施行した。 XSRLよりも高い単語レベルF1を達成する:87.6%対77.3%(EN-FR)、89.0%対82.7%(EN-ES)
  論文  参考訳（メタデータ） (2024-07-12T14:13:59Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
  ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。 PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。 2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
  論文  参考訳（メタデータ） (2024-01-10T16:21:18Z)
• Using Think-Aloud Data to Understand Relations between Self-Regulation Cycle Characteristics and Student Performance in Intelligent Tutoring Systems [15.239133633467672]
  本研究では,学習者のモーメント・バイ・モーメントのパフォーマンスとSRLの挙動について検討する。 本稿では,AI生成した思考情報に基づくSRL行動のラベル付けの実現可能性を示す。 SRLサイクルの進行過程における学生の行動は、後のSRLサイクルの段階よりも、問題解決時のモーメント・バイ・モーメントの正しさが低かった。
  論文  参考訳（メタデータ） (2023-12-09T20:36:58Z)
• Persian Semantic Role Labeling Using Transfer Learning and BERT-Based Models [5.592292907237565]
  本稿では,特徴抽出の必要性を解消するだけでなく,既存手法よりも優れた特徴抽出手法を提案する。 提案手法は補助的特徴を一切用いておらず, 同様の状況下では従来手法に比べて精度が16(83.16)以上向上している。
  論文  参考訳（メタデータ） (2023-06-17T12:50:09Z)
• Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures [104.32063681736349]
  本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。 PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
  論文  参考訳（メタデータ） (2022-12-02T11:19:16Z)
• LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning [78.2286146954051]
  LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している 本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2022-09-21T13:21:00Z)
• RL with KL penalties is better viewed as Bayesian inference [4.473139775790299]
  我々は、言語モデルを強化学習ポリシーとして扱う際の課題を分析する。 これらの課題を避けるには、どのようにしてRLパラダイムを超えていく必要があるかを示します。
  論文  参考訳（メタデータ） (2022-05-23T12:47:13Z)
• Transition-based Semantic Role Labeling with Pointer Networks [0.40611352512781856]
  本稿では,1つの左から右へのパスで入力文を完全に処理できる,トランジッションベースのSRLアプローチを提案する。 Pointer Networksをベースとした実装のおかげで、完全なSRLは$O(n2)$で正確かつ効率的に実行できる。
  論文  参考訳（メタデータ） (2022-05-20T08:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。