論文の概要: Who Do Perspectivist Models Predict Well? Annotator Agreement, Sparsity, and Performance

• arxiv url: http://arxiv.org/abs/2610.22567v1
• Date: Thu, 15 Oct 2026 19:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.637284
• Title: Who Do Perspectivist Models Predict Well? Annotator Agreement, Sparsity, and Performance
• Title（参考訳）: パースペクティビストモデルはだれがよく予測できるのか? アノテーションの合意、スパーシリティ、パフォーマンス
• Abstract要約: この研究は、異なる振る舞いをするアノテータに対して、そのようなアルゴリズムの性能がどのように異なるかを研究する。 我々は,現在までに最も多く収集されているNLPデータセットを順序付きアノテーションでキュレートする。 アルゴリズムは他のアノテータと一致しがちなアノテータの性能は向上するが,アノテータの応答速度はアルゴリズムの性能と統計的に有意な正の相関を持たない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Successful completion of perspectivist natural language processing (NLP) annotation tasks requires algorithms to be aligned across diverse perspectives in order to predict how different humans will rate text. This work studies how the performance of such algorithms varies for annotators who behave differently than others, either by providing annotations that diverge from others' responses or by providing fewer annotations altogether. To aid with characterizing model performance, we curate the largest collection to date of perspectivist NLP datasets with ordinal annotations. After evaluating multiple classes of perspectivist algorithms across each of the datasets, we model the relationship between individual annotator idiosyncrasy and algorithm performance. In general, we find that algorithms perform better on annotators who tend to agree with others, but that annotator response rate does not have a statistically significant positive correlation with algorithm performance.
• Abstract（参考訳）: パースペクティビズム自然言語処理(NLP)アノテーションタスクの完成には、異なる人間がいかにテキストを評価するかを予測するために、様々な視点でアルゴリズムを調整する必要がある。 この研究は、他者と異なる振る舞いをするアノテータに対して、他人の反応から発散するアノテーションを提供するか、あるいは全くのアノテーションを提供することによって、そのようなアルゴリズムのパフォーマンスがどのように異なるかを研究する。 モデル性能の特色付けを支援するため,命令アノテーションを用いたパースペクティビストNLPデータセットの現在までの最大のコレクションをキュレートする。 それぞれのデータセットでパースペクティビストアルゴリズムのクラスを複数評価した後、各アノテータの慣用性とアルゴリズム性能の関係をモデル化する。 一般に,アノテータの反応速度はアルゴリズムの性能と統計的に有意な相関関係を持たないが,アノテータの応答速度はアルゴリズムの性能とよく一致している。

関連論文リスト

• The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction [39.10305114526259]
  共形予測と協調フィルタリングスタイルのアノテータ表現を組み合わせたフレームワークを提案する。 非整合スコアを用いて、モデル予測が利用可能なすべてのアノテーションから発散するケースを定量化するために、ゴースト予測メトリックとゴーストアノテーション表現を導入する。 我々の発見は、アノテータの不一致によって全てのモデルの不確実性が増大する一方で、より大きなモデルは、人間のアノテーションと一致しないテキストの分類により自信を持つ傾向にあることを示している。
  論文  参考訳（メタデータ） (2026-06-01T21:32:37Z)
• Optimally Improving Cooperative Learning in a Social Setting [4.200480236342444]
  個人所有の分類器を持つネットワークエージェントの集合を動的に更新する協調学習シナリオを考察する。 本稿では,集合目的関数を最適化するための時間アルゴリズムを示し,平等目的関数の最適化がNPハードであることを示す。 全てのアルゴリズムの性能は数学的解析によって保証され、合成データと実データの実験によって裏付けられている。
  論文  参考訳（メタデータ） (2024-05-31T14:07:33Z)
• Exploring the Performance of Continuous-Time Dynamic Link Prediction Algorithms [14.82820088479196]
  ダイナミックリンク予測(DLP)は、進化するネットワークにおける将来のリンクの予測に対処する。 本研究では,このような総合的な評価を行うためのツールをコントリビュートする。 評価時に使用可能な陰性サンプリング手法の網羅的な分類法について述べる。
  論文  参考訳（メタデータ） (2024-05-27T14:03:28Z)
• Differentially Private Heavy Hitter Detection using Federated Analytics [33.69819799254375]
  本研究では,プレフィックスツリーに基づくアルゴリズムの性能向上のための実用性について検討する。 我々のモデルは、各ユーザが複数のデータポイントを持っていると仮定し、その目標は、すべてのユーザのデータを集約的および局所的な差分プライバシーで可能な限り多くの最も頻繁なデータポイントを学習することである。
  論文  参考訳（メタデータ） (2023-07-21T17:59:15Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [70.45113777449373]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 既存のアルゴリズムを比較し、より良いアルゴリズムを開発する上で重要な課題は、公開された金標準データの欠如である。 研究コミュニティにリリースした類似度スコアの新しいデータセットを収集します。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• The Impact of Feature Quantity on Recommendation Algorithm Performance: A Movielens-100K Case Study [0.0]
  最近のモデルベースのRecommender Systems(RecSys)アルゴリズムは、機械学習(ML)のアルゴリズムに似た設計において、サイド情報と呼ばれる機能の使用を強調している。 このケーススタディの目的は、サイド情報を含む場合のRecSysとMLアルゴリズムの性能比較と評価を提供することである。
  論文  参考訳（メタデータ） (2022-07-13T12:13:00Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。