論文の概要: Training and Evaluating with Human Label Variation: An Empirical Study

• arxiv url: http://arxiv.org/abs/2502.01891v3
• Date: Mon, 12 May 2025 01:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 14:13:12.76281
• Title: Training and Evaluating with Human Label Variation: An Empirical Study
• Title（参考訳）: ラベル変動によるトレーニングと評価 : 実証的研究
• Authors: Kemal Kurniawan, Meladel Mistica, Timothy Baldwin, Jey Han Lau,
• Abstract要約: HLV(Human label variation)は、ラベル付きインスタンスが単一根拠真理を持つという標準的な仮定に挑戦する。 ファジィ集合理論を利用したHLVの新しい評価指標を提案する。 分離されたアノテーションやソフトラベルのトレーニングは、メトリクス間で最高のパフォーマンスを発揮します。
• 参考スコア（独自算出の注目度）: 44.5492443909544
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human label variation (HLV) challenges the standard assumption that a labelled instance has a single ground truth, instead embracing the natural variation in human annotation to train and evaluate models. While various training methods and metrics for HLV have been proposed, it is still unclear which methods and metrics perform best in what settings. We propose new evaluation metrics for HLV leveraging fuzzy set theory. Since these new proposed metrics are differentiable, we then in turn experiment with employing these metrics as training objectives. We conduct an extensive study over 6 HLV datasets testing 14 training methods and 6 evaluation metrics. We find that training on either disaggregated annotations or soft labels performs best across metrics, outperforming training using the proposed training objectives with differentiable metrics. We also show that our proposed soft metric is more interpretable and correlates best with human preference.
• Abstract（参考訳）: HLV(Human label variation)は、ラベル付きインスタンスが単一の真実を持つという標準的な仮定に挑戦し、モデルのトレーニングと評価のための人間のアノテーションの自然なバリエーションを受け入れる。 HLVの様々なトレーニング方法や測定基準が提案されているが、どの手法や測定基準がどの設定で最適かはいまだ不明である。 ファジィ集合理論を利用したHLVの新しい評価指標を提案する。 これらの新しいメトリクスは差別化可能であるので、これらのメトリクスをトレーニングの目的として使う実験をします。 6 HLVデータセットを対象に,14 のトレーニング手法と6 つの評価指標を検証した。 分離されたアノテーションまたはソフトラベルのトレーニングは、メトリクス間で最高のパフォーマンスを示し、異なるメトリクスで提案されたトレーニング目標を用いたトレーニングよりも優れています。 また,提案したソフトメトリックはより解釈可能であり,人間の嗜好と相関することを示す。

関連論文リスト

• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Adaptive Dense Reward: Understanding the Gap Between Action and Reward Space in Alignment [33.5805074836187]
  Reinforcement Learning from Human Feedback (RLHF) は、Large Language Models (LLM) を人間の好みに合わせるのに非常に効果的であることが証明されている。 この制限は、RLHFが特定のトークンを強化または抑制すべきかどうかについての認識の欠如に起因している。 本稿では,様々なタスクに頑健に適用可能な適応的メッセージワイドRLHF'法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T16:16:15Z)
• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• Quantifying Variance in Evaluation Benchmarks [34.12254884944099]
  評価ベンチマークのばらつきは,初期化における種子のばらつき,訓練中の単調性などである。 選択タスクを完了タスクとしてフレーミングするといった単純な変更は、小さなスケールでの分散を減少させる可能性がある。 人間のテスト文献(項目分析や項目応答理論など)に触発されたより複雑な手法は、分散を有意義に減少させるのに苦労する。
  論文  参考訳（メタデータ） (2024-06-14T17:59:54Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
  この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。 このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-10-02T17:52:24Z)
• Metric-oriented Speech Enhancement using Diffusion Probabilistic Model [23.84172431047342]
  ディープニューラルネットワークに基づく音声強調技術は、ペアトレーニングデータによって教師されるノイズからクリーンへの変換を学ぶことに焦点を当てている。 タスク固有の評価基準(例えば、PSSQ)は、通常微分不可能であり、トレーニング基準で直接構築することはできない。 本稿では,その逆プロセスにメトリック指向のトレーニング戦略を統合する,距離指向音声強調手法を提案する。
  論文  参考訳（メタデータ） (2023-02-23T13:12:35Z)
• Ontology-aware Learning and Evaluation for Audio Tagging [56.59107110017436]
  平均平均精度(mAP)は、異なる種類の音をそれらの関係を考慮せずに独立したクラスとして扱う。 オントロジー認識平均平均精度(OmAP)は、評価中にAudioSetオントロジー情報を利用することで、mAPの弱点に対処する。 我々は人間の評価を行い、OmAPはmAPよりも人間の知覚と一致していることを示した。
  論文  参考訳（メタデータ） (2022-11-22T11:35:14Z)
• Towards Quantifiable Dialogue Coherence Evaluation [126.55560816209756]
  量的対話コヒーレンス評価(QuantiDCE)は,量的対話コヒーレンス尺度の学習を目的とした新しいフレームワークである。 QuantiDCEには、Multi-Level Ranking (MLR) pre-training (KD) fine-tuning (Multi-Level Ranking)とKD (KD) fine-tuning (KD) という2つの訓練段階が含まれている。 実験結果から,QuantiDCEによりトレーニングされたモデルは,他の最先端の指標に比べて,人間の判断と強い相関関係を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-01T14:11:17Z)
• Quantitative Evaluations on Saliency Methods: An Experimental Study [6.290238942982972]
  我々は, 忠実性, 局在性, 偽陽性, 感度チェック, 安定性など, 指標の現状を簡単に要約する。 比較したすべての手法の中で、すべての指標において1つの説明法が他を圧倒することはないと結論づける。
  論文  参考訳（メタデータ） (2020-12-31T14:13:30Z)
• Transferred Discrepancy: Quantifying the Difference Between Representations [35.957762733342804]
  Transferred discrepancy (TD) は、2つの表現間の差を定義する指標である。 本稿では、TDが下流タスクとどのように相関し、そのようなタスク依存の方法でメトリクスを定義する必要があるかを示す。 TDは異なるトレーニング戦略の有効性を評価するためにも用いられる。
  論文  参考訳（メタデータ） (2020-07-24T10:59:11Z)
• Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
  我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。 MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。 これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T09:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。