論文の概要: The Extraordinary Failure of Complement Coercion Crowdsourcing

• arxiv url: http://arxiv.org/abs/2010.05971v1
• Date: Mon, 12 Oct 2020 19:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:58:03.026083
• Title: The Extraordinary Failure of Complement Coercion Crowdsourcing
• Title（参考訳）: 補完的強制的クラウドソーシングの異常な失敗
• Authors: Yanai Elazar, Victoria Basmov, Shauli Ravfogel, Yoav Goldberg, Reut Tsarfaty
• Abstract要約: クラウドソーシングは近年,言語アノテーションの収集を緩和し,スケールアップしている。 本研究の目的は,この現象の注釈付きデータを2つの既知のタスク – 明示的補完と自然言語推論 – に還元することで収集することである。 どちらの場合も、クラウドソーシングは合意のスコアが低かった。
• 参考スコア（独自算出の注目度）: 50.599433903377374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Crowdsourcing has eased and scaled up the collection of linguistic annotation in recent years. In this work, we follow known methodologies of collecting labeled data for the complement coercion phenomenon. These are constructions with an implied action -- e.g., "I started a new book I bought last week", where the implied action is reading. We aim to collect annotated data for this phenomenon by reducing it to either of two known tasks: Explicit Completion and Natural Language Inference. However, in both cases, crowdsourcing resulted in low agreement scores, even though we followed the same methodologies as in previous work. Why does the same process fail to yield high agreement scores? We specify our modeling schemes, highlight the differences with previous work and provide some insights about the task and possible explanations for the failure. We conclude that specific phenomena require tailored solutions, not only in specialized algorithms, but also in data collection methods.
• Abstract（参考訳）: クラウドソーシングは近年,言語アノテーションの収集を緩和し,スケールアップしている。 本研究では,相補的強制現象のラベル付きデータを収集する既知の手法に従う。 それらは暗黙のアクションを持つ建設物で、例えば「先週買った新しい本」では暗示のアクションが読み上げられている。 本研究の目的は,この現象の注釈付きデータを2つの既知のタスク – 明示的補完と自然言語推論 – に還元することで収集することである。 しかし,どちらの場合も,以前と同じ手法を踏襲したにも関わらず,クラウドソーシングによる合意スコアは低かった。 なぜ同じプロセスは高い合意のスコアを得られないのか? モデリングスキームを定義し、以前の作業との違いを強調し、そのタスクと失敗の可能な説明についていくつかの洞察を提供する。 特定の現象は、特殊なアルゴリズムだけでなく、データ収集手法においても、適切な解を必要とすると結論付けている。

関連論文リスト

• Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset [1.825224193230824]
  本稿では,アノテーションのための新規かつ協調的かつ反復的なアノテーション手法について述べる。 以上の結果から,アノテータとの連携によりアノテーションの手法が強化されることが示唆された。
  論文  参考訳（メタデータ） (2024-08-01T19:11:08Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Revisiting text decomposition methods for NLI-based factuality scoring of summaries [9.044665059626958]
  細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。 また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-30T09:54:37Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Ensemble Distillation Approaches for Grammatical Error Correction [18.81579562876076]
  アンサンブル蒸留(EnD)とアンサンブル分配蒸留(EnDD)は、アンサンブルを1つのモデルに圧縮するために提案されている。 本稿では,これら2つの蒸留手法のシーケンス予測タスク,文法的誤り訂正(GEC)への適用について検討する。 しかしながら、単語に対する文法的訂正の予測は、単語の入力シーケンスと生成された出力履歴の両方に大きく依存するので、蒸留のために調査された標準タスクよりも難しい。
  論文  参考訳（メタデータ） (2020-11-24T15:00:45Z)
• Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
  本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。 このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
  論文  参考訳（メタデータ） (2020-10-12T06:43:10Z)
• Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
  本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-28T10:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。