論文の概要: Making Data Work Count

• arxiv url: http://arxiv.org/abs/2311.18046v1
• Date: Wed, 29 Nov 2023 19:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 19:03:23.847031
• Title: Making Data Work Count
• Title（参考訳）: データ作業カウントの作成
• Authors: Srravya Chandhiramowuli, Alex Taylor, Sara Heitlinger, Ding Wang
• Abstract要約: 我々は、データアノテーション作業の編成における数え方や定量化の役割に焦点を当てる。 我々は、数え上げの実践とその関連するロジックが日々のアノテーション活動の不可欠な部分であることを観察する。 AIサプライチェーンとデータワークの中で、カウンティングレジームがAIクライアントによる権威の主張を支援することが分かっています。 我々は、特定の利益によって形作られ、限られた方法でしか説明できない、部分的(partial)として数えられる見解を論じる。
• 参考スコア（独自算出の注目度）: 9.564586282190344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we examine the work of data annotation. Specifically, we focus on the role of counting or quantification in organising annotation work. Based on an ethnographic study of data annotation in two outsourcing centres in India, we observe that counting practices and its associated logics are an integral part of day-to-day annotation activities. In particular, we call attention to the presumption of total countability observed in annotation - the notion that everything, from tasks, datasets and deliverables, to workers, work time, quality and performance, can be managed by applying the logics of counting. To examine this, we draw on sociological and socio-technical scholarship on quantification and develop the lens of a 'regime of counting' that makes explicit the specific counts, practices, actors and structures that underpin the pervasive counting in annotation. We find that within the AI supply chain and data work, counting regimes aid the assertion of authority by the AI clients (also called requesters) over annotation processes, constituting them as reductive, standardised, and homogenous. We illustrate how this has implications for i) how annotation work and workers get valued, ii) the role human discretion plays in annotation, and iii) broader efforts to introduce accountable and more just practices in AI. Through these implications, we illustrate the limits of operating within the logic of total countability. Instead, we argue for a view of counting as partial - located in distinct geographies, shaped by specific interests and accountable in only limited ways. This, we propose, sets the stage for a fundamentally different orientation to counting and what counts in data annotation.
• Abstract（参考訳）: 本稿では,データアノテーションの研究について検討する。 具体的には,アノテーション作業の編成における数量化や定量化の役割に注目した。 インドにおける2つのアウトソーシングセンターにおけるデータアノテーションのエスノグラフィー研究に基づいて、カウントプラクティスとその関連するロジックが日々のアノテーション活動の不可欠な部分であることを観察した。 特に、私たちは、タスク、データセット、成果物から労働者、労働時間、品質、パフォーマンスに至るまで、全てをカウントするロジックを適用することで管理できるという考え方に注意を払っています。 本研究は, 社会学的, 社会技術的奨学金の定量化と, アノテーションの広汎なカウントの基盤となる特定のカウント, 実践, アクター, 構造を明確にする「カウントの登録」のレンズを開発するものである。 私たちは、AIサプライチェーンとデータワークの中で、数え上げ体制は、アノテーションプロセスに対するAIクライアント(要求者とも呼ばれる)による権威の主張を助け、それらを還元的、標準化され、均質なものとして構成することを発見した。 これがどのようにして 一 アノテーションの働き方及び労働者の価値 二 注釈において人間の判断が果たす役割 iii)aiに説明責任と単なるプラクティスを導入するためのより広範な取り組み。 これらの意味を通して、総計数可能性の論理における操作の限界を説明する。 その代わり、我々は、特定の利益によって形作られ、限られた方法でのみ説明できる、異なる地理的な位置にある部分的な数え上げという考え方を議論する。 そこで本研究では,データアノテーションにおけるカウント数とカウント数とを根本的に異なる向きに設定する。

関連論文リスト

• Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset [1.825224193230824]
  本稿では,アノテーションのための新規かつ協調的かつ反復的なアノテーション手法について述べる。 以上の結果から,アノテータとの連携によりアノテーションの手法が強化されることが示唆された。
  論文  参考訳（メタデータ） (2024-08-01T19:11:08Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Deep Active Learning with Noisy Oracle in Object Detection [5.5165579223151795]
  ディープオブジェクト検出のためのラベルレビューモジュールを含む複合能動学習フレームワークを提案する。 アクティブなデータセットで部分的にノイズの多いアノテーションを修正するためにアノテーションの予算の一部を利用することで、モデルの性能が早期に向上することを示します。 本実験では,同一のアノテーション予算でラベルレビューを組み込むことで,最大4.5mAPポイントのオブジェクト検出性能の向上を実現した。
  論文  参考訳（メタデータ） (2023-09-30T13:28:35Z)
• Flexible categorization for auditing using formal concept analysis and Dempster-Shafer theory [55.878249096379804]
  我々は、異なる金融口座に対する異なる利息の程度に応じて分類する様々な方法を研究する。 本稿で開発したフレームワークは,説明可能な分類の獲得と研究のための公式な基盤を提供する。
  論文  参考訳（メタデータ） (2022-10-31T13:49:16Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• I Know Therefore I Score: Label-Free Crafting of Scoring Functions using Constraints Based on Domain Expertise [6.26476800426345]
  多次元数値データからスコアリング関数を学習するためのラベルなし実践的手法を提案する。 このアプローチでは、ドメインエキスパートの洞察とビジネスルールを、容易に観察可能で特定可能な制約という形で取り入れています。 このような制約を、スコアリング関数を学習しながら同時に最適化された損失関数に変換する。
  論文  参考訳（メタデータ） (2022-03-18T17:51:20Z)
• Truth Discovery in Sequence Labels from Crowds [12.181422057560201]
  Amazon Mechanical Turk (AMT)のようなクラウドソーシングプラットフォームは、この目的のためにデプロイされている。 アノテーションアグリゲーションにおける既存の文献は、アノテーションは独立しており、シーケンシャルなラベルアグリゲーションタスクを扱う際の課題に直面していると仮定している。 逐次ラベリングタスクにおいて,作業者が提供するアノテーションを用いて,真理ラベルを推測する最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-09T19:12:13Z)
• A survey of joint intent detection and slot-filling models in natural language understanding [0.0]
  この記事は、自然言語理解、特に統合意図分類とスロットフィリングにおける過去の研究のまとめである。 本稿では,傾向,アプローチ,課題,データセット,意図分類における評価指標,スロット充填について述べる。
  論文  参考訳（メタデータ） (2021-01-20T12:15:11Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)
• Counterfactual Detection meets Transfer Learning [48.82717416666232]
  既存のモデルアーキテクチャに最小限の適応で実装可能な,単純なバイナリ分類タスクであることを示す。 本稿では,先行者や後続者をエンティティ認識タスクとして処理するエンド・ツー・エンドパイプラインを導入し,それらをトークン分類に適用する。
  論文  参考訳（メタデータ） (2020-05-27T02:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。