論文の概要: Towards a Shared Rubric for Dataset Annotation
- arxiv url: http://arxiv.org/abs/2112.03867v1
- Date: Tue, 7 Dec 2021 18:00:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 15:27:21.559905
- Title: Towards a Shared Rubric for Dataset Annotation
- Title(参考訳): データセットアノテーションのための共有rubricに向けて
- Authors: Andrew Marc Greene
- Abstract要約: 価格のみに基づく競争は、ベンダーが高品質なアノテーションを課金することを難しくする。
ベンダーの商品を比較するためのスコアカードとして使用できる自発的ルーリックを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When arranging for third-party data annotation, it can be hard to compare how
well the competing providers apply best practices to create high-quality
datasets. This leads to a "race to the bottom," where competition based solely
on price makes it hard for vendors to charge for high-quality annotation. We
propose a voluntary rubric which can be used (a) as a scorecard to compare
vendors' offerings, (b) to communicate our expectations of the vendors more
clearly and consistently than today, (c) to justify the expense of choosing
someone other than the lowest bidder, and (d) to encourage annotation providers
to improve their practices.
- Abstract(参考訳): サードパーティのデータアノテーションをアレンジする場合、競合プロバイダが高品質なデータセットを作成するためにベストプラクティスを適用するかを比較するのは難しいでしょう。
これは、価格のみに基づく競争によって、ベンダーが高品質なアノテーションを課金することが難しくなる"下位へのレース"につながります。
使用可能な自発的ルーリックを提案する。
(a)売り手の品物を比較するためのスコアカード
(b)今日よりもベンダーへの期待を明確かつ一貫して伝達すること。
(c)最低入札者以外の者を選ぶ費用を正当化すること、及び
(d) アノテーションプロバイダのプラクティス改善を奨励する。
関連論文リスト
- Improving Recommendation Fairness via Data Augmentation [66.4071365614835]
協調フィルタリングに基づくレコメンデーションは、すべてのユーザの過去の行動データからユーザの好みを学習し、意思決定を容易にするために人気がある。
ユーザの敏感な属性に応じて異なるユーザグループに対して等しく機能しない場合には,レコメンダシステムは不公平であると考えられる。
本稿では,データ拡張の観点から,レコメンデーションフェアネスを改善する方法について検討する。
論文 参考訳(メタデータ) (2023-02-13T13:11:46Z) - Urban Scene Semantic Segmentation with Low-Cost Coarse Annotation [107.72926721837726]
粗いアノテーションは、セマンティックセグメンテーションモデルをトレーニングするための、低コストで非常に効果的な代替手段である。
粗い注釈付きデータの未ラベル領域の擬似ラベルを生成する粗大な自己学習フレームワークを提案する。
提案手法は,アノテーションの予算のごく一部で完全に注釈付けされたデータに匹敵する性能が得られるため,大幅な性能向上とアノテーションのコストトレードオフを実現する。
論文 参考訳(メタデータ) (2022-12-15T15:43:42Z) - Leveraging Expert Guided Adversarial Augmentation For Improving
Generalization in Named Entity Recognition [50.85774164546487]
名前付きエンティティ認識(NER)システムは、しばしば分散データに対して優れた性能を示すが、シフトした分布から引き出された例では性能が良くない。
本稿では、専門家誘導型を利用してエンティティトークンとその周辺状況を変更することにより、そのエンティティタイプを敵攻撃として変更することを提案する。
その結果、2003年のCoNLLで訓練された最先端のNERシステムは、我々の挑戦的なセットで劇的に性能を低下させることがわかった。
論文 参考訳(メタデータ) (2022-03-21T01:21:12Z) - The Unfairness of Active Users and Popularity Bias in Point-of-Interest
Recommendation [4.578469978594752]
本稿では, (i) アクティブユーザの不公平さ, (ii) 人気項目の不公平さ, (iii) 調査三角形の3つの角度として推薦の精度について検討する。
アイテムフェアネスでは、アイテムをショートヘッド、ミッドテール、ロングテールグループに分割し、これらのアイテムグループの露出をユーザのトップkレコメンデーションリストにまとめる。
本研究は, 消費者と生産者の公正性を両立させることができず, 自然バイアスが原因と考えられる変数間のトレードオフが示唆されている。
論文 参考訳(メタデータ) (2022-02-27T08:02:19Z) - On Releasing Annotator-Level Labels and Information in Datasets [6.546195629698355]
ラベルアグリゲーションは,個人的視点とグループ的視点の表現バイアスをもたらす可能性があることを示す。
下流のユースケースに対するデータセットの有用性と透明性を高めるための推奨事項を提案する。
論文 参考訳(メタデータ) (2021-10-12T02:35:45Z) - Achieving Counterfactual Fairness for Causal Bandit [18.077963117600785]
期待される報酬を最大化するために、各ステップでアイテムを推薦する方法を研究します。
次に, 対実的個人的公正性を達成するためのフェア因果バンドイット(F-UCB)を提案する。
論文 参考訳(メタデータ) (2021-09-21T23:44:48Z) - A Graph-based Approach for Mitigating Multi-sided Exposure Bias in
Recommender Systems [7.3129791870997085]
FairMatchは、アイテムやサプライヤーの露出公正性を改善するグラフベースのアルゴリズムである。
2つのデータセットに関する包括的な実験と最先端のベースラインとの比較により、FairMatchは露出公正性と集約多様性を大幅に改善する一方で、レコメンデーションの許容レベルを維持している。
論文 参考訳(メタデータ) (2021-07-07T18:01:26Z) - Fairness, Welfare, and Equity in Personalized Pricing [88.9134799076718]
顧客特性に基づくパーソナライズ価格における公平性、福祉、株式の配慮の相互作用について検討する。
選択ワクチンの価格補助金と、マイクロクレジットの下流結果に対するパーソナライズされた利率の影響の2つの設定において、パーソナライズされた価格の潜在的利点を示す。
論文 参考訳(メタデータ) (2020-12-21T01:01:56Z) - Achieving User-Side Fairness in Contextual Bandits [17.947543703195738]
パーソナライズされたレコメンデーションにおけるユーザ側の公平性を実現する方法について検討する。
我々は、適切なパーソナライズされたレコメンデーションを、修正された文脈的盗賊として定式化する。
本研究では,従来のLinUCBアルゴリズムを改良したFair-LinUCBを提案する。
論文 参考訳(メタデータ) (2020-10-22T22:58:25Z) - DeepFair: Deep Learning for Improving Fairness in Recommender Systems [63.732639864601914]
レコメンダーシステムにおけるバイアス管理の欠如は、少数派が不公平な勧告を受けることになる。
本稿では,ユーザの人口統計情報を知ることなく,公平さと正確さを最適なバランスで組み合わせたDeep Learningベースの協調フィルタリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-09T13:39:38Z) - Fairness-Aware Explainable Recommendation over Knowledge Graphs [73.81994676695346]
ユーザのアクティビティのレベルに応じて異なるグループのユーザを分析し、異なるグループ間での推奨パフォーマンスにバイアスが存在することを確認する。
不活性なユーザは、不活性なユーザのためのトレーニングデータが不十分なため、不満足なレコメンデーションを受けやすい可能性がある。
本稿では、知識グラフに対する説明可能な推奨という文脈で、この問題を緩和するために再ランク付けすることで、公平性に制約されたアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-03T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。