論文の概要: Baby Bear: Seeking a Just Right Rating Scale for Scalar Annotations

• arxiv url: http://arxiv.org/abs/2408.09765v1
• Date: Mon, 19 Aug 2024 07:53:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 17:14:27.196958
• Title: Baby Bear: Seeking a Just Right Rating Scale for Scalar Annotations
• Title（参考訳）: Baby Bear:スカラアノテーションの正しい評価尺度を探る
• Authors: Xu Han, Felix Yu, Joao Sedoc, Benjamin Van Durme,
• Abstract要約: IBWSを導入し、Best-Worst Scalingを通じてアノテーションを反復的に収集する。 有効ではあるが、IBWSは大規模タスクには高すぎる。 我々は,コスト効率と大規模BWSアノテーション戦略との関連性の両方を判断するために,様々な直接評価手法を評価した。
• 参考スコア（独自算出の注目度）: 39.23650018280788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our goal is a mechanism for efficiently assigning scalar ratings to each of a large set of elements. For example, "what percent positive or negative is this product review?" When sample sizes are small, prior work has advocated for methods such as Best Worst Scaling (BWS) as being more robust than direct ordinal annotation ("Likert scales"). Here we first introduce IBWS, which iteratively collects annotations through Best-Worst Scaling, resulting in robustly ranked crowd-sourced data. While effective, IBWS is too expensive for large-scale tasks. Using the results of IBWS as a best-desired outcome, we evaluate various direct assessment methods to determine what is both cost-efficient and best correlating to a large scale BWS annotation strategy. Finally, we illustrate in the domains of dialogue and sentiment how these annotations can support robust learning-to-rank models.
• Abstract（参考訳）: 私たちのゴールは、大きな要素セットのそれぞれにスカラー評価を効率的に割り当てるメカニズムです。 例えば、“この製品レビューは肯定的か否定的か? サンプルサイズが小さい場合には、BWS(Best Worst Scaling)のような手法は直接順序付けアノテーションよりも堅牢である("Likert scales")。 ここでは、まずIBWSを紹介し、Best-Worst Scalingを通じてアノテーションを反復的に収集する。 有効ではあるが、IBWSは大規模タスクには高すぎる。 IBWSの結果を最も望まれる結果として、コスト効率と大規模BWSアノテーション戦略との関連性の両方を判断するために、様々な直接評価手法を評価する。 最後に、対話と感情の領域において、これらのアノテーションがどのように堅牢な学習-ランクモデルをサポートするかを説明します。

関連論文リスト

• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• Size-invariance Matters: Rethinking Metrics and Losses for Imbalanced Multi-object Salient Object Detection [133.66006666465447]
  現在のメトリクスはサイズに敏感で、大きなオブジェクトが集中し、小さなオブジェクトが無視される傾向があります。 サイズに基づくバイアスは、追加のセマンティック情報なしでは不適切であるため、評価はサイズ不変であるべきだと論じる。 我々は,この目標に適した最適化フレームワークを開発し,異なる大きさのオブジェクトの検出において,大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-05-16T03:01:06Z)
• "You are an expert annotator": Automatic Best-Worst-Scaling Annotations for Emotion Intensity Modeling [7.4022258821325115]
  感情の強さの予測を自動化し、直接評価尺度の予測、ペアワイズ比較、ベストワーストスケーリングを比較します。 これらのデータに基づいて微調整されたトランスフォーマー回帰器は、オリジナルの手動アノテーションでトレーニングされたモデルとほぼ同等に動作する。
  論文  参考訳（メタデータ） (2024-03-26T11:45:22Z)
• IDEAL: Influence-Driven Selective Annotations Empower In-Context Learners in Large Language Models [66.32043210237768]
  本稿では,影響駆動型選択的アノテーション手法を提案する。 アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。 様々なベンチマークで提案手法の優位性を確認する実験を行った。
  論文  参考訳（メタデータ） (2023-10-16T22:53:54Z)
• Crowdsourcing subjective annotations using pairwise comparisons reduces bias and error compared to the majority-vote method [0.0]
  本稿では,ランダムな誤差と測定バイアスが,主観的構成物のクラウドソースアノテーションにどのように入るかを理解するための理論的枠組みを提案する。 次に、Eloスコアとペア比較ラベリングを組み合わせたパイプラインを提案し、両種類の測定誤差を低減するために、ユビキタスな多数投票法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-31T17:14:12Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
  ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。 移行学習にインスパイアされたアプローチを用いてこの問題に対処する。 本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:53:10Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。