論文の概要: Tracing How Annotators Think: Augmenting Preference Judgments with Reading Processes

• arxiv url: http://arxiv.org/abs/2511.21912v1
• Date: Wed, 26 Nov 2025 21:07:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.297586
• Title: Tracing How Annotators Think: Augmenting Preference Judgments with Reading Processes
• Title（参考訳）: アノテーションの考え方の追跡 - 読み込みプロセスによる推論判断の強化
• Authors: Karin de Langis, William Walker, Khanh Chi Le, Dongyeop Kang,
• Abstract要約: PreferReadは、マウス追跡から得られた微粒なアノテータ読み取り行動のデータセットである。 ほとんどの場合、最終的に選択したオプションを再検討するが、プロンプトを再検討することは滅多にない。 読解プロセスは、複雑で主観的なNLPタスクにおいて、アノテータの信頼性、意思決定、不一致を理解するための補完的な認知次元を提供する。
• 参考スコア（独自算出の注目度）: 19.256453565219786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an annotation approach that captures not only labels but also the reading process underlying annotators' decisions, e.g., what parts of the text they focus on, re-read or skim. Using this framework, we conduct a case study on the preference annotation task, creating a dataset PreferRead that contains fine-grained annotator reading behaviors obtained from mouse tracking. PreferRead enables detailed analysis of how annotators navigate between a prompt and two candidate responses before selecting their preference. We find that annotators re-read a response in roughly half of all trials, most often revisiting the option they ultimately choose, and rarely revisit the prompt. Reading behaviors are also significantly related to annotation outcomes: re-reading is associated with higher inter-annotator agreement, whereas long reading paths and times are associated with lower agreement. These results demonstrate that reading processes provide a complementary cognitive dimension for understanding annotator reliability, decision-making and disagreement in complex, subjective NLP tasks. Our code and data are publicly available.
• Abstract（参考訳）: 本稿では,ラベルだけでなく,アノテータの判断に基づく読み出しプロセス,例えば,対象とするテキストのどの部分,再読出,あるいはスキムをキャプチャするアノテーションアプローチを提案する。 このフレームワークを用いて、マウス追跡から得られた微粒なアノテータ読影行動を含むPreferReadデータセットを作成する。 PreferReadは、アノテータがその好みを選択する前に、プロンプトと2つの候補レスポンスの間をナビゲートする方法を詳細に分析する。 ほとんどの場合、最終的に選択したオプションを再検討するが、プロンプトを再検討することは滅多にない。 読解行動は、アノテーションの結果と大きく関連している:再読解は、より高いアノテーション間の合意に関連しているのに対し、長い読解経路と時間は、低い合意に関連している。 これらの結果は,複雑な主観的NLPタスクにおいて,アノテータの信頼性,意思決定,不一致を理解するために,読解プロセスが相補的な認知次元を提供することを示す。 私たちのコードとデータは公開されています。

関連論文リスト

• Previously on the Stories: Recap Snippet Identification for Story Reading [51.641565531840186]
  本稿では,手作り評価データセットを用いたRecap Snippet Identificationと呼ばれる,この有用なタスクに関する最初のベンチマークを提案する。 本実験により,提案課題は,提案課題がスニペット間のプロット相関の深い理解を必要とするため,PLM,LSM,および提案手法に難題であることが判明した。
  論文  参考訳（メタデータ） (2024-02-11T18:27:14Z)
• Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations [16.99952884041096]
  生成的AIモデルは、そのようなシステムに対するユーザの信頼を損なう可能性のある幻覚の課題に直面します。 本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして,会話情報探索の問題にアプローチする。 具体的には,文レベル分類器を用いて解答の有無を判定し,これらの予測を文レベルに集約し,最後に最終解答可能性推定値に到達する。
  論文  参考訳（メタデータ） (2024-01-21T10:15:36Z)
• Rescue: Ranking LLM Responses with Partial Ordering to Improve Response Generation [28.89786334298637]
  ランキングメトリクスを用いたLCMの最適化手法を開発した。 従来の完全順序付けではなく、部分順序付けを提唱する。 ベンチマークデータセットを用いて,システムの改善された応答生成能力を検証した。
  論文  参考訳（メタデータ） (2023-11-15T17:27:14Z)
• IDEAL: Influence-Driven Selective Annotations Empower In-Context Learners in Large Language Models [63.15355173909631]
  本稿では,影響駆動型選択的アノテーション手法を提案する。 アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。 様々なベンチマークで提案手法の優位性を確認する実験を行った。
  論文  参考訳（メタデータ） (2023-10-16T22:53:54Z)
• Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
  Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。 そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:46:38Z)
• Generating Usage-related Questions for Preference Elicitation in Conversational Recommender Systems [19.950705852361565]
  項目使用量に基づいて暗黙的な質問を行うことにより、嗜好の誘惑に対する新しいアプローチを提案する。 クラウドソーシングを用いた高品質なラベル付きトレーニングデータセットを開発した。 本手法は,限られたトレーニングデータであっても,エレキュベーション質問を発生させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-26T12:23:14Z)
• Hone as You Read: A Practical Type of Interactive Summarization [6.662800021628275]
  HAREは、個人的な興味のためにドキュメント要約を最適化するために読者からのフィードバックを使用する新しいタスクです。 このタスクは、長いフィードバックステージに従ってパーソナライズされた要約が生成されるインタラクティブな要約に関連している。 読み上げプロセス中に最小限の侵襲的なフィードバックを収集し、ユーザの関心に適応し、ドキュメントをリアルタイムで拡張することを提案する。
  論文  参考訳（メタデータ） (2021-05-06T19:36:40Z)
• Read what you need: Controllable Aspect-based Opinion Summarization of Tourist Reviews [23.7107052882747]
  オンライン観光レビューからパーソナライズされたアスペクトベースの意見要約を作成するためのソリューションの必要性と提案を議論する。 読者に、興味のある長さや特定の側面など、要約のいくつかの属性を決定し、制御させます。 具体的には、TripAdvisorに投稿された観光レビューからコヒーレントな側面を抽出するための教師なしアプローチを採っている。
  論文  参考訳（メタデータ） (2020-06-08T15:03:38Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。