論文の概要: Towards a Shared Rubric for Dataset Annotation
- arxiv url: http://arxiv.org/abs/2112.03867v1
- Date: Tue, 7 Dec 2021 18:00:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 15:27:21.559905
- Title: Towards a Shared Rubric for Dataset Annotation
- Title(参考訳): データセットアノテーションのための共有rubricに向けて
- Authors: Andrew Marc Greene
- Abstract要約: 価格のみに基づく競争は、ベンダーが高品質なアノテーションを課金することを難しくする。
ベンダーの商品を比較するためのスコアカードとして使用できる自発的ルーリックを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When arranging for third-party data annotation, it can be hard to compare how
well the competing providers apply best practices to create high-quality
datasets. This leads to a "race to the bottom," where competition based solely
on price makes it hard for vendors to charge for high-quality annotation. We
propose a voluntary rubric which can be used (a) as a scorecard to compare
vendors' offerings, (b) to communicate our expectations of the vendors more
clearly and consistently than today, (c) to justify the expense of choosing
someone other than the lowest bidder, and (d) to encourage annotation providers
to improve their practices.
- Abstract(参考訳): サードパーティのデータアノテーションをアレンジする場合、競合プロバイダが高品質なデータセットを作成するためにベストプラクティスを適用するかを比較するのは難しいでしょう。
これは、価格のみに基づく競争によって、ベンダーが高品質なアノテーションを課金することが難しくなる"下位へのレース"につながります。
使用可能な自発的ルーリックを提案する。
(a)売り手の品物を比較するためのスコアカード
(b)今日よりもベンダーへの期待を明確かつ一貫して伝達すること。
(c)最低入札者以外の者を選ぶ費用を正当化すること、及び
(d) アノテーションプロバイダのプラクティス改善を奨励する。
関連論文リスト
- Centrality-aware Product Retrieval and Ranking [14.710718676076327]
本稿では,ユーザの検索クエリに関連する製品ランキングを強化することで,eコマースプラットフォーム上でのユーザエクスペリエンス向上の課題に対処する。
eBayのサンプルをキュレートし、購入者中心の関連スコアと集中度スコアを手作業でアノテートしました。
本稿では,既存モデルに対するユーザインテリジェンス中心性最適化(UCO)アプローチを提案する。
論文 参考訳(メタデータ) (2024-10-21T11:59:14Z) - Preference Diffusion for Recommendation [50.8692409346126]
DMベースのレコメンデータに適した最適化対象であるPreferDiffを提案する。
PreferDiffは、BPRをログライクなランキング目標に変換することで、ユーザの好みをよりよく把握する。
これはDMベースのレコメンデーション向けに特別に設計された、パーソナライズされたランキングの損失である。
論文 参考訳(メタデータ) (2024-10-17T01:02:04Z) - Not All Preference Pairs Are Created Equal: A Recipe for Annotation-Efficient Iterative Preference Learning [81.69044784288005]
反復的な選好学習には、オンラインの注釈付き選好ラベルが必要である。
コスト効率のよいアノテーションに対する応答対を選択するための戦略について検討する。
論文 参考訳(メタデータ) (2024-06-25T06:49:16Z) - Improving Recommendation Fairness via Data Augmentation [66.4071365614835]
協調フィルタリングに基づくレコメンデーションは、すべてのユーザの過去の行動データからユーザの好みを学習し、意思決定を容易にするために人気がある。
ユーザの敏感な属性に応じて異なるユーザグループに対して等しく機能しない場合には,レコメンダシステムは不公平であると考えられる。
本稿では,データ拡張の観点から,レコメンデーションフェアネスを改善する方法について検討する。
論文 参考訳(メタデータ) (2023-02-13T13:11:46Z) - Urban Scene Semantic Segmentation with Low-Cost Coarse Annotation [107.72926721837726]
粗いアノテーションは、セマンティックセグメンテーションモデルをトレーニングするための、低コストで非常に効果的な代替手段である。
粗い注釈付きデータの未ラベル領域の擬似ラベルを生成する粗大な自己学習フレームワークを提案する。
提案手法は,アノテーションの予算のごく一部で完全に注釈付けされたデータに匹敵する性能が得られるため,大幅な性能向上とアノテーションのコストトレードオフを実現する。
論文 参考訳(メタデータ) (2022-12-15T15:43:42Z) - The Unfairness of Active Users and Popularity Bias in Point-of-Interest
Recommendation [4.578469978594752]
本稿では, (i) アクティブユーザの不公平さ, (ii) 人気項目の不公平さ, (iii) 調査三角形の3つの角度として推薦の精度について検討する。
アイテムフェアネスでは、アイテムをショートヘッド、ミッドテール、ロングテールグループに分割し、これらのアイテムグループの露出をユーザのトップkレコメンデーションリストにまとめる。
本研究は, 消費者と生産者の公正性を両立させることができず, 自然バイアスが原因と考えられる変数間のトレードオフが示唆されている。
論文 参考訳(メタデータ) (2022-02-27T08:02:19Z) - Achieving Counterfactual Fairness for Causal Bandit [18.077963117600785]
期待される報酬を最大化するために、各ステップでアイテムを推薦する方法を研究します。
次に, 対実的個人的公正性を達成するためのフェア因果バンドイット(F-UCB)を提案する。
論文 参考訳(メタデータ) (2021-09-21T23:44:48Z) - A Graph-based Approach for Mitigating Multi-sided Exposure Bias in
Recommender Systems [7.3129791870997085]
FairMatchは、アイテムやサプライヤーの露出公正性を改善するグラフベースのアルゴリズムである。
2つのデータセットに関する包括的な実験と最先端のベースラインとの比較により、FairMatchは露出公正性と集約多様性を大幅に改善する一方で、レコメンデーションの許容レベルを維持している。
論文 参考訳(メタデータ) (2021-07-07T18:01:26Z) - DeepFair: Deep Learning for Improving Fairness in Recommender Systems [63.732639864601914]
レコメンダーシステムにおけるバイアス管理の欠如は、少数派が不公平な勧告を受けることになる。
本稿では,ユーザの人口統計情報を知ることなく,公平さと正確さを最適なバランスで組み合わせたDeep Learningベースの協調フィルタリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-09T13:39:38Z) - Fairness-Aware Explainable Recommendation over Knowledge Graphs [73.81994676695346]
ユーザのアクティビティのレベルに応じて異なるグループのユーザを分析し、異なるグループ間での推奨パフォーマンスにバイアスが存在することを確認する。
不活性なユーザは、不活性なユーザのためのトレーニングデータが不十分なため、不満足なレコメンデーションを受けやすい可能性がある。
本稿では、知識グラフに対する説明可能な推奨という文脈で、この問題を緩和するために再ランク付けすることで、公平性に制約されたアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-03T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。