論文の概要: Estimating Agreement by Chance for Sequence Annotation

• arxiv url: http://arxiv.org/abs/2407.11371v1
• Date: Tue, 16 Jul 2024 04:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 18:32:32.334060
• Title: Estimating Agreement by Chance for Sequence Annotation
• Title（参考訳）: シーケンスアノテーションによる合意の推定
• Authors: Diya Li, Carolyn Rosé, Ao Yuan, Chunxiao Zhou,
• Abstract要約: 本稿では,シーケンスアノテーションタスクにおける確率一致を推定する基礎となるランダムアノテーションを生成するための新しいモデルを提案する。 我々は,各注釈付きテキストセグメントの確率的位置の計算と,それに続く確率的一致推定を可能にするために,分布の分析形式をうまく導出する。
• 参考スコア（独自算出の注目度）: 3.039887427447867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of natural language processing, correction of performance assessment for chance agreement plays a crucial role in evaluating the reliability of annotations. However, there is a notable dearth of research focusing on chance correction for assessing the reliability of sequence annotation tasks, despite their widespread prevalence in the field. To address this gap, this paper introduces a novel model for generating random annotations, which serves as the foundation for estimating chance agreement in sequence annotation tasks. Utilizing the proposed randomization model and a related comparison approach, we successfully derive the analytical form of the distribution, enabling the computation of the probable location of each annotated text segment and subsequent chance agreement estimation. Through a combination simulation and corpus-based evaluation, we successfully assess its applicability and validate its accuracy and efficacy.
• Abstract（参考訳）: 自然言語処理の分野では、アノテーションの信頼性を評価する上で、チャンス合意に対する性能評価の補正が重要な役割を担っている。 しかし、現場で広く普及しているにもかかわらず、シーケンスアノテーションタスクの信頼性を評価するための確率補正に焦点を当てた研究が目覚ましい。 このギャップに対処するために、シーケンスアノテーションタスクにおける確率一致を推定する基礎となるランダムアノテーションを生成する新しいモデルを提案する。 提案したランダム化モデルと関連する比較手法を用いて、各注釈付きテキストセグメントの確率的位置の計算とそれに続く確率一致推定を可能にし、分布の分析形式を導出する。 シミュレーションとコーパスに基づく評価を組み合わせることで,適用性を評価し,精度と有効性を検証した。

関連論文リスト

• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• The Penalized Inverse Probability Measure for Conformal Classification [0.5172964916120902]
  この研究は、Pinalized Inverse Probability(PIP)の非整合性スコアと、その正規化バージョンRePIPを導入し、効率性と情報性の両方を共同で最適化する。 この研究は、PIPに基づく共形分類器が、他の非整合性対策と比較して正確に望ましい振る舞いを示し、情報性と効率のバランスを保っていることを示す。
  論文  参考訳（メタデータ） (2024-06-13T07:37:16Z)
• Conformal Approach To Gaussian Process Surrogate Evaluation With Coverage Guarantees [47.22930583160043]
  適応型クロスコンフォーマル予測区間を構築する手法を提案する。 結果として生じる共形予測区間は、ベイズ的信頼性集合に類似した適応性のレベルを示す。 原子炉の蒸気発生器における閉鎖現象の高コスト・評価シミュレータのサロゲートモデリングの文脈において, 本手法の適用可能性を示す。
  論文  参考訳（メタデータ） (2024-01-15T14:45:18Z)
• Enhanced Local Explainability and Trust Scores with Random Forest Proximities [0.9423257767158634]
  我々は任意のランダム森林回帰モデルと分類モデルを適応重み付きK近傍モデルとして数学的に定式化できるという事実を利用する。 この線形性は、トレーニングセットの観測における任意のモデル予測に対する属性を生成するRF予測の局所的な説明可能性を促進する。 本稿では, モデル予測だけでなく, サンプル外性能を説明するために, SHAPと組み合わせて, この近接性に基づく説明可能性のアプローチをいかに活用できるかを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:42:20Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Regions of Reliability in the Evaluation of Multivariate Probabilistic Forecasts [73.33395097728128]
  時系列予測評価のための適切なスコアリングルールに関する最初の体系的な有限サンプル研究を提供する。 本研究では, 地中構造と予測分布のいくつかの重要な相違点をテストするために, 総合的な総合的合成ベンチマークを用いて解析を行った。
  論文  参考訳（メタデータ） (2023-04-19T17:38:42Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• Scalable and Interpretable Marked Point Processes [5.070542698701158]
  スケーラビリティと解釈可能性の両方を享受するマークポイントプロセスのための新しい推論フレームワークを導入します。 このフレームワークは変分推論に基づいており、マークされたポイントプロセスの柔軟なファミリーの推論を高速化することを目的としている。
  論文  参考訳（メタデータ） (2021-05-30T15:37:57Z)
• JST-RR Model: Joint Modeling of Ratings and Reviews in Sentiment-Topic Prediction [2.3834926671238916]
  テキストレビューと総合評価の両方に対応する確率モデルを提案します。 提案手法は,レビューデータの予測精度を高め,解釈可能な話題や感情を効果的に検出する。
  論文  参考訳（メタデータ） (2021-02-18T15:47:34Z)
• Combining Task Predictors via Enhancing Joint Predictability [53.46348489300652]
  そこで本研究では,目標予測能力に基づいて参照の関連性を測定し,その関連性を高めるための新しい予測器組合せアルゴリズムを提案する。 提案アルゴリズムはベイズフレームワークを用いて,すべての参照の関連性について共同で評価する。 視覚属性ランキングとマルチクラス分類シナリオから得られた実世界の7つのデータセットの実験に基づいて,本アルゴリズムが性能向上に寄与し,既存の予測器の組み合わせアプローチの適用範囲を広くすることを示した。
  論文  参考訳（メタデータ） (2020-07-15T21:58:39Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。