論文の概要: From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP

• arxiv url: http://arxiv.org/abs/2510.12817v1
• Date: Thu, 09 Oct 2025 17:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.323623
• Title: From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP
• Title（参考訳）: 騒音から信号へ:NLPにおけるポストトレーニング時代のヒトラベル変動のフレーミング
• Authors: Shanshan Xu, Santosh T. Y. S. S, Barbara Plank,
• Abstract要約: 我々は、HLVを人間の多元主義の具現化として保存することは、Selbstzweckとして扱う必要があると論じる。 我々は、HLVを優先データセットに積極的に組み込んで、それに向けた実行可能なステップを概説することを求めている。
• 参考スコア（独自算出の注目度）: 35.8165102355067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human Label Variation (HLV) refers to legitimate disagreement in annotation that reflects the genuine diversity of human perspectives rather than mere error. For decades, HLV in NLP was dismissed as noise to be discarded, and only slowly over the last decade has it been reframed as a signal for improving model robustness. With the rise of large language models (LLMs), where post-training on human feedback has become central to model alignment, the role of HLV has become increasingly consequential. Yet current preference-learning datasets routinely aggregate multiple annotations into a single label, thereby flattening diverse perspectives into a false universal agreement and erasing precisely the pluralism of human values that alignment aims to preserve. In this position paper, we argue that preserving HLV as an embodiment of human pluralism must be treated as a Selbstzweck - a goal it self when designing AI systems. We call for proactively incorporating HLV into preference datasets and outline actionable steps towards it.
• Abstract（参考訳）: 人間ラベル変動(Human Label Variation, HLV)とは、単なる誤りではなく、人間の視点の真の多様性を反映した注釈における正当な不一致を指す。 NLPのHLVは、何十年にもわたって、ノイズを取り除き、モデルロバスト性を改善するための信号として、この10年で徐々に再編成されてきました。 大規模言語モデル (LLMs) の台頭により, 人的フィードバックのポストトレーニングがモデルアライメントの中心となり, HLVの役割はますます重要になっている。 しかし、現在の嗜好学習データセットは、複数のアノテーションを1つのラベルに集約することで、さまざまな視点を偽の普遍的な合意へとフラット化し、アライメントが保存しようとする人間の価値の多元性を正確に消去する。 本稿では,人間の多元主義の具体化としてHLVを保存することは,AIシステムを設計する際の目標であるSelbstzweckとして扱う必要があると論じる。 我々は、HLVを優先データセットに積極的に組み込んで、それに向けた実行可能なステップを概説することを求めている。

関連論文リスト

• Revisiting Active Learning under (Human) Label Variation [25.25602927653135]
  HLV (Human label variation) は、情報信号としてのアノテーションのもっともらしい差異である。 本稿では,HLVをアクティブな学習ループ全体に組み込むための概念的フレームワークを提案する。 本研究の目的は,実世界のアノテーションの複雑さを反映したHLV対応能動学習の概念的基盤を構築することである。
  論文  参考訳（メタデータ） (2025-07-03T12:59:28Z)
• Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
  ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。 異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。 意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
  論文  参考訳（メタデータ） (2025-06-24T09:49:26Z)
• One fish, two fish, but not the whole sea: Alignment reduces language models' conceptual diversity [2.5975241792179378]
  研究者は大規模言語モデル(LLM)を人間の行動研究の代替として使用することを提案した。 トレーニング後のアライメント(RLHFまたはRLAIF)がモデルの内部多様性に影響を及ぼすかどうかが議論されている。 我々は、シミュレーションされた個体の内部変動と集団レベルの変動を関連づけることで、合成合成LLMの「人口」の概念的多様性を測定する新しい方法を用いる。
  論文  参考訳（メタデータ） (2024-11-07T04:38:58Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• The 'Problem' of Human Label Variation: On Ground Truth in Data, Modeling and Evaluation [21.513743126525622]
  我々は、人間のラベルの変動という大きなオープンな問題が持続し、我々の分野を前進させるためには、より注意が必要であると論じている。 我々は、これまで提案された異なるラベルのバリエーションの概念を整理し、公開可能なデータセットのリポジトリを非集約ラベルで提供し、これまで提案されてきたアプローチを描写し、ギャップを識別し、今後の方向性を提案する。
  論文  参考訳（メタデータ） (2022-11-04T16:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。