論文の概要: Labels have Human Values: Value Calibration of Subjective Tasks

• arxiv url: http://arxiv.org/abs/2601.06631v1
• Date: Sat, 10 Jan 2026 17:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.908675
• Title: Labels have Human Values: Value Calibration of Subjective Tasks
• Title（参考訳）: ラベルに人的価値:主観的タスクの値校正
• Authors: Mohammed Fayiz Parappan, Ricardo Henao,
• Abstract要約: 本稿では,アノテーションを識別可能な人的価値クラスタにクラスタ化するMultiCalibrated Subjective Task Learner framework (MC-STL)を提案する。 MC-STLは、順序性、二項性、嗜好学習予測などの主観的な学習環境において、有毒な会話、攻撃的なソーシャルメディア投稿、人間の嗜好アライメントを含む複数のデータセット上で評価する。
• 参考スコア（独自算出の注目度）: 13.49831246568205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building NLP systems for subjective tasks requires one to ensure their alignment to contrasting human values. We propose the MultiCalibrated Subjective Task Learner framework (MC-STL), which clusters annotations into identifiable human value clusters by three approaches (similarity of annotator rationales, expert-value taxonomies or rater's sociocultural descriptors) and calibrates predictions for each value cluster by learning cluster-specific embeddings. We demonstrate MC-STL on several subjective learning settings, including ordinal, binary, and preference learning predictions, and evaluate it on multiple datasets covering toxic chatbot conversations, offensive social media posts, and human preference alignment. The results show that MC-STL consistently outperforms the baselines that ignore the latent value structure of the annotations, delivering gains in discrimination, value-specific calibration, and disagreement-aware metrics.
• Abstract（参考訳）: 主観的タスクのためのNLPシステムを構築するには、人間の価値と対比してアライメントを確保する必要がある。 本稿では,アノテーションを3つのアプローチ(アノテータ論理の類似性,専門家価値分類学あるいはレーダの社会文化的記述子)で識別可能な人的価値クラスタにクラスタリングし,クラスタ固有の埋め込みを学習することで,各価値クラスタに対する予測を校正するマルチキャリブレーション型主観的タスク学習フレームワーク(MC-STL)を提案する。 MC-STLは、順序性、二項性、嗜好学習予測などの主観的な学習環境において、有毒なチャットボット会話、攻撃的なソーシャルメディア投稿、人間の嗜好アライメントを含む複数のデータセットで評価する。 その結果、MC-STLは、アノテーションの潜在値構造を無視し、識別、値固有校正、不一致対応メトリクスのゲインを提供するベースラインを一貫して上回っていることがわかった。

関連論文リスト

• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• NLG Evaluation Metrics Beyond Correlation Analysis: An Empirical Metric Preference Checklist [20.448405494617397]
  Perplexity、BLEU、BERTScoreといったタスクに依存しないメトリクスは費用対効果が高く、多様なNLGタスクに適応できる。 ヒューマンアライメントメトリクス(CTC、CtrlEval、UniEval)は、望ましい人間的な品質をトレーニング目的として取り入れることで、相関レベルを改善する。 テキスト要約および制御生成タスクにおいて,システムレベルの性能を識別する上で,自動メトリクスが人間よりも優れたガイダンスを提供することを示す。
  論文  参考訳（メタデータ） (2023-05-15T11:51:55Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• Multi-Objective Few-shot Learning for Fair Classification [23.05869193599414]
  本稿では,データ内の二次属性に対する予測クラスの相違を緩和する枠組みを提案する。 提案手法は,データから一次クラスラベルを予測することの主目的を学習することに加えて,クラスタメンバシップに対するクラスラベル分布の差異を最小限に抑えるためにクラスタリングをベースとした多目的関数を学習することを含む。
  論文  参考訳（メタデータ） (2021-10-05T11:28:58Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。