論文の概要: On Crowdsourcing Task Design for Discourse Relation Annotation

• arxiv url: http://arxiv.org/abs/2412.11637v1
• Date: Mon, 16 Dec 2024 10:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:35.253896
• Title: On Crowdsourcing Task Design for Discourse Relation Annotation
• Title（参考訳）: 談話関連アノテーションのためのクラウドソーシングタスク設計について
• Authors: Frances Yung, Vera Demberg,
• Abstract要約: 英語の暗黙の言論関係アノテーションを接続挿入によってクラウドソースする2つの手法を比較した。 強制選択アプローチを用いてDiscoGeM 1.0コーパス全体を再注釈する。 しかし、13万以上のアノテーションを比較すると、自由選択戦略はより多様でないアノテーションを生み出していることがわかる。
• 参考スコア（独自算出の注目度）: 13.996171129586731
• License:
• Abstract: Interpreting implicit discourse relations involves complex reasoning, requiring the integration of semantic cues with background knowledge, as overt connectives like because or then are absent. These relations often allow multiple interpretations, best represented as distributions. In this study, we compare two established methods that crowdsource English implicit discourse relation annotation by connective insertion: a free-choice approach, which allows annotators to select any suitable connective, and a forced-choice approach, which asks them to select among a set of predefined options. Specifically, we re-annotate the whole DiscoGeM 1.0 corpus -- initially annotated with the free-choice method -- using the forced-choice approach. The free-choice approach allows for flexible and intuitive insertion of various connectives, which are context-dependent. Comparison among over 130,000 annotations, however, shows that the free-choice strategy produces less diverse annotations, often converging on common labels. Analysis of the results reveals the interplay between task design and the annotators' abilities to interpret and produce discourse relations.
• Abstract（参考訳）: 暗黙の言説関係の解釈には複雑な推論が伴い、意味的手がかりと背景知識の統合が要求される。 これらの関係はしばしば複数の解釈を許容し、最もよく分布として表される。 本研究では,英語の暗黙的言論関係アノテーションを接続的挿入によってクラウドソースする2つの確立された手法を比較した。 具体的には、強制選択アプローチを使用して、DiscoGeM 1.0コーパス全体(最初はフリーチョイスメソッドでアノテート)を再注釈します。 自由選択アプローチは、コンテキスト依存の様々な接続体を柔軟かつ直感的に挿入することを可能にする。 しかし、13万以上のアノテーションを比較すると、自由選択戦略はより多様性の低いアノテーションを生み出すことが示され、しばしば共通のラベルに収束する。 結果から,タスクデザインとアノテータの対話関係を解釈・生成する能力の相互作用が明らかになった。

関連論文リスト

• Leveraging Hierarchical Prototypes as the Verbalizer for Implicit Discourse Relation Recognition [7.149359970799236]
  暗黙の言論関係認識は、明示的な言論接続によってリンクされていないテキストのスパン間の関係を決定することを含む。 それまでの作業は、暗黙の言論関係認識のための手話代行にのみ依存していた。 特定のクラスレベルの意味的特徴をキャプチャするプロトタイプと、異なるクラスに対する階層的なラベル構造を、動詞化子として活用する。
  論文  参考訳（メタデータ） (2024-11-22T12:01:04Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• IDEAL: Influence-Driven Selective Annotations Empower In-Context Learners in Large Language Models [66.32043210237768]
  本稿では,影響駆動型選択的アノテーション手法を提案する。 アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。 様々なベンチマークで提案手法の優位性を確認する実験を行った。
  論文  参考訳（メタデータ） (2023-10-16T22:53:54Z)
• Design Choices for Crowdsourcing Implicit Discourse Relations: Revealing the Biases Introduced by Task Design [23.632204469647526]
  タスク設計は、アノテータを特定の関係に向かわせることができることを示す。 このタイプのバイアスは、トレーニングやテストモデルにおいて考慮すべきである、と結論付けています。
  論文  参考訳（メタデータ） (2023-04-03T09:04:18Z)
• Improve Retrieval-based Dialogue System via Syntax-Informed Attention [46.79601705850277]
  文内構文情報と文間構文情報の両方を考慮したSIA, Syntax-Informed Attentionを提案する。 提案手法を広範に使用した3つのベンチマークで評価し,対話応答選択における本手法の一般的な優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-03-12T08:14:16Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora [11.986676998327864]
  特定のプロンプトの定式化の選択はコーパスに適合する必要があることを示す。 この課題は複数のプロンプトの組み合わせで対処可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-14T15:07:36Z)
• Relation-aware Video Reading Comprehension for Temporal Language Grounding [67.5613853693704]
  ビデオ中の時間的言語基盤は、与えられたクエリ文に関連する時間的スパンをローカライズすることを目的としている。 本稿では,映像読解の時間的基盤を定式化し,それに対応する関係認識ネットワーク(RaNet)を提案する。
  論文  参考訳（メタデータ） (2021-10-12T03:10:21Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。