論文の概要: Negation-Instance Based Evaluation of End-to-End Negation Resolution
- arxiv url: http://arxiv.org/abs/2109.10013v1
- Date: Tue, 21 Sep 2021 07:49:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-22 14:24:40.631614
- Title: Negation-Instance Based Evaluation of End-to-End Negation Resolution
- Title（参考訳）: 否定事例に基づく終端否定解消の評価
- Authors: Elizaveta Sineva, Stefan Gr\"unewald, Annemarie Friedrich, Jonas Kuhn
- Abstract要約: 否定の解決性を評価するための否定的アプローチについて論じる。
提案した指標は, インスタンス当たりの期待値と一致し, 直感的に解釈可能である。
3つの英コーパス上での否定解決のための最新技術システムについて結果を提供する。
- 参考スコア（独自算出の注目度）: 10.56502771201411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we revisit the task of negation resolution, which includes the
subtasks of cue detection (e.g. "not", "never") and scope resolution. In the
context of previous shared tasks, a variety of evaluation metrics have been
proposed. Subsequent works usually use different subsets of these, including
variations and custom implementations, rendering meaningful comparisons between
systems difficult. Examining the problem both from a linguistic perspective and
from a downstream viewpoint, we here argue for a negation-instance based
approach to evaluating negation resolution. Our proposed metrics correspond to
expectations over per-instance scores and hence are intuitively interpretable.
To render research comparable and to foster future work, we provide results for
a set of current state-of-the-art systems for negation resolution on three
English corpora, and make our implementation of the evaluation scripts publicly
available.
- Abstract（参考訳）: 本稿では,cue 検出のサブタスク (例えば "not", "never") とスコープ解像度を含む否定分解のタスクを再検討する。
これまでの共有タスクの文脈では,様々な評価指標が提案されている。
その後の作業は通常、バリエーションやカスタム実装など、さまざまなサブセットを使用し、システム間の意味のある比較を困難にします。
本稿では,言語的視点と下流視点の両方から問題を考察し,否定的解決性を評価するための否定的アプローチについて論じる。
提案した指標は, インスタンス当たりの期待値と一致し, 直感的に解釈可能である。
研究に匹敵し,今後の研究を促進するために,3つの英語コーパス上での否定解決のための最新の最先端システムについて結果を提供し,評価スクリプトの実装を一般公開する。
関連論文リスト
- Negation Triplet Extraction with Syntactic Dependency and Semantic Consistency [37.99421732397288]
SSENEはマルチタスク学習フレームワークを備えたデコーダアーキテクチャのPLM(Generative Pretrained Language Model)に基づいて構築されている。
我々は,Meituanの現実世界プラットフォームからのユーザレビューに基づいて,高品質な中国語データセットNegCommentを構築した。
論文 参考訳（メタデータ） (2024-04-15T14:28:33Z) - End-to-End Evaluation for Low-Latency Simultaneous Speech Translation [55.525125193856084]
本稿では,低遅延音声翻訳の様々な側面を現実的な条件下で実行し,評価するための第1の枠組みを提案する。
これには、オーディオのセグメンテーションと、異なるコンポーネントの実行時間が含まれる。
また、このフレームワークを用いて低遅延音声翻訳の異なるアプローチを比較する。
論文 参考訳（メタデータ） (2023-08-07T09:06:20Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳（メタデータ） (2022-10-06T23:39:01Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳（メタデータ） (2022-05-09T02:41:11Z) - Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。
トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
論文 参考訳（メタデータ） (2021-10-15T22:01:16Z) - Discrete representations in neural models of spoken language [56.29049879393466]
音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。
異なる評価指標が矛盾する結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2021-05-12T11:02:02Z) - On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。
これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。
これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
論文 参考訳（メタデータ） (2021-04-18T09:19:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。