論文の概要: Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset

• arxiv url: http://arxiv.org/abs/2408.00880v1
• Date: Thu, 1 Aug 2024 19:11:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 15:06:04.667544
• Title: Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset
• Title（参考訳）: ループにおけるアノテーション:ブレンドベンチマークデータセット作成のための奥行きラタエンゲージメントのケーススタディ
• Authors: Sonja Schmer-Galunder, Ruta Wheelock, Scott Friedman, Alyssa Chvasta, Zaria Jalan, Emily Saltz,
• Abstract要約: 本稿では,アノテーションのための新規かつ協調的かつ反復的なアノテーション手法について述べる。 以上の結果から,アノテータとの連携によりアノテーションの手法が強化されることが示唆された。
• 参考スコア（独自算出の注目度）: 1.825224193230824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growing prevalence of large language models, it is increasingly common to annotate datasets for machine learning using pools of crowd raters. However, these raters often work in isolation as individual crowdworkers. In this work, we regard annotation not merely as inexpensive, scalable labor, but rather as a nuanced interpretative effort to discern the meaning of what is being said in a text. We describe a novel, collaborative, and iterative annotator-in-the-loop methodology for annotation, resulting in a 'Bridging Benchmark Dataset' of comments relevant to bridging divides, annotated from 11,973 textual posts in the Civil Comments dataset. The methodology differs from popular anonymous crowd-rating annotation processes due to its use of an in-depth, iterative engagement with seven US-based raters to (1) collaboratively refine the definitions of the to-be-annotated concepts and then (2) iteratively annotate complex social concepts, with check-in meetings and discussions. This approach addresses some shortcomings of current anonymous crowd-based annotation work, and we present empirical evidence of the performance of our annotation process in the form of inter-rater reliability. Our findings indicate that collaborative engagement with annotators can enhance annotation methods, as opposed to relying solely on isolated work conducted remotely. We provide an overview of the input texts, attributes, and annotation process, along with the empirical results and the resulting benchmark dataset, categorized according to the following attributes: Alienation, Compassion, Reasoning, Curiosity, Moral Outrage, and Respect.
• Abstract（参考訳）: 大規模な言語モデルの普及に伴い、クラウドレーダのプールを使用して機械学習のデータセットに注釈を付けることがますます一般的になっている。 しかし、これらのラッカーは個別のクラウドワーカーとして独立して働くことが多い。 本研究では、アノテーションは、単に安価でスケーラブルな作業であるだけでなく、テキストで言っていることの意味を識別するための微妙な解釈の努力であると見なしている。 筆者らは,新たな,協調的かつ反復的なアノテーションを用いたアノテーション手法について述べる。その結果,Civil Commentsデータセットの11,973件のテキスト投稿から,ブリッジング分割に関連するコメントの'Bridging Benchmark Dataset'が得られた。 この手法は,(1) 注釈付き概念の定義を改良し,(2) チェックインミーティングや議論を伴う複雑な社会概念を反復的に注釈付けする,という,米国の7つのラウンダーとの密接な反復的な関与によって,一般の匿名のクラウドレーディングアノテーションプロセスとは異なっている。 提案手法は,現在の匿名クラウドベースのアノテーション処理の欠点に対処するものであり,このアノテーションプロセスの性能に関する実証的な証拠を,層間信頼性の形で提示する。 本研究は,遠隔での単独作業にのみ依存するのではなく,アノテータとの共同作業によりアノテーション手法が強化できることを示唆する。 本稿では、入力テキスト、属性、アノテーションのプロセスの概要と、経験的結果と結果のベンチマークデータセットについて、以下の属性に分類する: 疎外、思いやり、推論、好奇心、道徳的アウトラージュ、尊敬。

関連論文リスト

• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Attributable and Scalable Opinion Summarization [79.87892048285819]
  我々は、頻繁なエンコーディングを復号することで抽象的な要約を生成し、同じ頻繁なエンコーディングに割り当てられた文を選択して抽出的な要約を生成する。 本手法は,要約プロセスの一部として要約を生成するために使用される文を同定するため,帰属的手法である。 なぜなら、アグリゲーションはトークンの長いシーケンスではなく、潜在空間で実行されるからである。
  論文  参考訳（メタデータ） (2023-05-19T11:30:37Z)
• On Releasing Annotator-Level Labels and Information in Datasets [6.546195629698355]
  ラベルアグリゲーションは,個人的視点とグループ的視点の表現バイアスをもたらす可能性があることを示す。 下流のユースケースに対するデータセットの有用性と透明性を高めるための推奨事項を提案する。
  論文  参考訳（メタデータ） (2021-10-12T02:35:45Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• Nutribullets Hybrid: Multi-document Health Summarization [36.95954983680022]
  本稿では,入力文書の類似性と矛盾を強調する比較要約を生成する手法を提案する。 私たちのフレームワークは、より忠実で関連性があり、集約に敏感な要約につながります。
  論文  参考訳（メタデータ） (2021-04-08T01:44:29Z)
• Relation Clustering in Narrative Knowledge Graphs [71.98234178455398]
  原文内の関係文は(SBERTと)埋め込み、意味論的に類似した関係をまとめるためにクラスタ化される。 予備的なテストでは、そのようなクラスタリングが類似した関係を検知し、半教師付きアプローチのための貴重な前処理を提供することが示されている。
  論文  参考訳（メタデータ） (2020-11-27T10:43:04Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Unsupervised Summarization by Jointly Extracting Sentences and Keywords [12.387378783627762]
  RepRankは、抽出多文書要約のための教師なしグラフベースのランキングモデルである。 学習した表現を用いて,有意な文やキーワードを協調的・相互強化プロセスで抽出できることを示す。 複数のベンチマークデータセットによる実験結果は、RepRankがROUGEで最高の、または同等のパフォーマンスを達成したことを示している。
  論文  参考訳（メタデータ） (2020-09-16T05:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。