論文の概要: How Good is the Model in Model-in-the-loop Event Coreference Resolution Annotation?

• arxiv url: http://arxiv.org/abs/2306.05434v1
• Date: Tue, 6 Jun 2023 18:06:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-18 13:17:19.198480
• Title: How Good is the Model in Model-in-the-loop Event Coreference Resolution Annotation?
• Title（参考訳）: Model-in-the-loop Event Coreference Resolution Annotationにおけるモデルはどの程度優れているか?
• Authors: Shafiuddin Rehan Ahmed, Abhijnan Nath, Michael Regan, Adam Pollins, Nikhil Krishnaswamy, James H. Martin
• Abstract要約: 本稿では、イベントコア参照解決のためのモデル-in-the-loopアノテーションアプローチを提案する。 まずアノテーションプロセスのシミュレートを行い,新しいアノテータ中心のリコール・ワーク・トレードオフ・メトリックを用いて,基礎となるモデルとデータセットの結果を比較することにより,このアプローチの有効性を評価する。
• 参考スコア（独自算出の注目度）: 3.712417884848568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Annotating cross-document event coreference links is a time-consuming and cognitively demanding task that can compromise annotation quality and efficiency. To address this, we propose a model-in-the-loop annotation approach for event coreference resolution, where a machine learning model suggests likely corefering event pairs only. We evaluate the effectiveness of this approach by first simulating the annotation process and then, using a novel annotator-centric Recall-Annotation effort trade-off metric, we compare the results of various underlying models and datasets. We finally present a method for obtaining 97\% recall while substantially reducing the workload required by a fully manual annotation process. Code and data can be found at https://github.com/ahmeshaf/model_in_coref
• Abstract（参考訳）: ドキュメント間のイベントコリファレンスリンクのアノテーションは、アノテーションの品質と効率を損なう可能性のある、時間のかかる認知的に要求されるタスクである。 そこでは、機械学習モデルがイベントペアのみをコアにすることを示唆するイベントコア参照解決のためのモデル-in-the-loopアノテーションアプローチを提案する。 このアプローチの有効性をまずアノテーションプロセスをシミュレートして評価し,新しいアノテーション中心のリコール・アノテーション努力トレードオフメトリックを用いて,さまざまなモデルとデータセットの結果を比較した。 最後に,完全手動アノテーションプロセスに必要な作業負荷を大幅に削減しながら,97\%のリコールを得る方法を提案する。 コードとデータはhttps://github.com/ahmeshaf/model_in_corefで確認できる。

関連論文リスト

• Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems [17.10762463903638]
  我々は人的評価を近似するために評価モデルを訓練し、高い合意を得る。 そこで本研究では,アノテートデータの一部を用いて評価モデルを訓練する弱強監督手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T10:48:14Z)
• Fusion Makes Perfection: An Efficient Multi-Grained Matching Approach for Zero-Shot Relation Extraction [9.657656957845987]
  そこで本研究では,仮想エンティティマッチングを用いて手作業によるアノテーションのコストを削減する手法を提案する。 実験結果から,本手法は従来の最先端技術(SOTA)法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T11:31:48Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models [68.73086826874733]
  本稿では,画像分割を参照するための新しい参照拡散分割器(Referring Diffusional segmentor, Ref-Diff)を提案する。 提案生成器がなければ、生成モデルだけで既存のSOTAの弱教師付きモデルに匹敵する性能を達成できることを実証する。 このことは、生成モデルがこのタスクに有益であり、より優れたセグメンテーションを参照するために識別モデルを補完できることを示している。
  論文  参考訳（メタデータ） (2023-08-31T14:55:30Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval [51.823187647843945]
  本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。 この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:29:03Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。