論文の概要: CritiQ: Mining Data Quality Criteria from Human Preferences

• arxiv url: http://arxiv.org/abs/2502.19279v1
• Date: Wed, 26 Feb 2025 16:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:46.870665
• Title: CritiQ: Mining Data Quality Criteria from Human Preferences
• Title（参考訳）: CritiQ: 人間の嗜好からデータ品質基準をマイニングする
• Authors: Honglin Guo, Kai Lv, Qipeng Guo, Tianyi Liang, Zhiheng Xi, Demin Song, Qiuyinzhe Zhang, Yu Sun, Kai Chen, Xipeng Qiu, Tao Gui,
• Abstract要約: 人間の嗜好からデータ品質の基準を自動的にマイニングする新しいデータ選択手法であるCritiQを紹介する。 CritiQ Flowはマネージャエージェントを使用して品質基準を進化させ、ワーカーエージェントはペアで判断する。 コード,数学,論理領域において,本手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 70.35346554179036
• License:
• Abstract: Language model heavily depends on high-quality data for optimal performance. Existing approaches rely on manually designed heuristics, the perplexity of existing models, training classifiers, or careful prompt engineering, which require significant expert experience and human annotation effort while introduce biases. We introduce CritiQ, a novel data selection method that automatically mines criteria from human preferences for data quality with only $\sim$30 human-annotated pairs and performs efficient data selection. The main component, CritiQ Flow, employs a manager agent to evolve quality criteria and worker agents to make pairwise judgments. We build a knowledge base that extracts quality criteria from previous work to boost CritiQ Flow. Compared to perplexity- and classifier- based methods, verbal criteria are more interpretable and possess reusable value. After deriving the criteria, we train the CritiQ Scorer to give quality scores and perform efficient data selection. We demonstrate the effectiveness of our method in the code, math, and logic domains, achieving high accuracy on human-annotated test sets. To validate the quality of the selected data, we continually train Llama 3.1 models and observe improved performance on downstream tasks compared to uniform sampling. Ablation studies validate the benefits of the knowledge base and the reflection process. We analyze how criteria evolve and the effectiveness of majority voting.
• Abstract（参考訳）: 言語モデルは最適なパフォーマンスのために高品質なデータに大きく依存する。 既存のアプローチは、手動設計のヒューリスティックス、既存モデルの難易度、トレーニング分類器、慎重なプロンプトエンジニアリングに依存している。 我々はCritiQという新しいデータ選択手法を紹介した。CritiQは、人間の好みからデータ品質の基準を自動的にマイニングし、30ドルの注釈付きペアだけで効率的なデータ選択を行う。 主なコンポーネントであるCritiQ Flowは、マネージャエージェントを使用して品質基準を進化させ、ワーカーエージェントはペアで判断する。 私たちは、CritiQ Flowを強化するために、以前の作業から品質基準を抽出する知識ベースを構築します。 難易度と分類器に基づく手法と比較して、言語基準はより解釈可能であり、再利用可能な価値を持っている。 基準を導出した後、品質スコアを与え、効率的なデータ選択を行うようにCritiQ Scorerを訓練する。 提案手法の有効性を,コード,数学,論理領域で実証し,人間の注釈付きテストセットに対して高い精度で検証する。 選択したデータの品質を検証するため、Llama 3.1モデルを継続的に訓練し、一様サンプリングと比較して下流タスクの性能改善を観察する。 アブレーション研究は、知識ベースとリフレクションプロセスの利点を検証する。 我々は、基準がどのように進化し、多数決の有効性を分析する。

関連論文リスト

• How to Select Datapoints for Efficient Human Evaluation of NLG Models? [57.60407340254572]
  人間の評価に最も有用なデータポイントを得るためのセレクタ群を開発した。 本研究では,自動測定値の分散に基づくセレクタ,モデル出力の多様性,項目応答理論がランダム選択より優れていることを示す。 特に,情報源に基づく推定手法を導入し,情報源のテキストに基づいて人体評価に有用な項目を推定する。
  論文  参考訳（メタデータ） (2025-01-30T10:33:26Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• QuRating: Selecting High-Quality Data for Training Language Models [64.83332850645074]
  データ品質に関する人間の直感をキャプチャできる事前学習データを選択するQuRatingを導入する。 本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。 ペアの判断からスカラー評価を学習するためにQurモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
  論文  参考訳（メタデータ） (2024-02-15T06:36:07Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• Learning brain MRI quality control: a multi-factorial generalization problem [0.0]
  本研究の目的は,MRIQCパイプラインの性能評価である。 分析はMRIQCの前処理ステップに焦点を合わせ、パイプラインをそれなしでテストした。 我々は、CATIデータセットのような異種集団のデータで訓練されたモデルが、目に見えないデータの最良のスコアを提供すると結論付けた。
  論文  参考訳（メタデータ） (2022-05-31T15:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。