論文の概要: ELSPR: Evaluator LLM Training Data Self-Purification on Non-Transitive Preferences via Tournament Graph Reconstruction

• arxiv url: http://arxiv.org/abs/2505.17691v2
• Date: Tue, 26 Aug 2025 03:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 15:23:52.342374
• Title: ELSPR: Evaluator LLM Training Data Self-Purification on Non-Transitive Preferences via Tournament Graph Reconstruction
• Title（参考訳）: ELSPR: Evaluator LLM Training Data Self-Purification on Non-transitive Preferences via Tournament Graph Reconstruction (特集:情報ネットワーク)
• Authors: Yan Yu, Yilun Liu, Minggui He, Shimin Tao, Weibin Meng, Xinhua Yang, Li Zhang, Hongxia Ma, Dengye Li, Daimeng Wei, Boxing Chen, Fuliang Li,
• Abstract要約: 大規模言語モデル(LLM)のペアワイズ評価は、オープンエンドタスクのベンチマークにおいて支配的なパラダイムとなっている。 この重要な問題は、本質的に曖昧な選好ペアを含む低品質データに起因していることを示す。 トーナメントグラフとしてペアの選好をモデル化する,原則付きグラフ理論フレームワークであるESSPRを提案する。
• 参考スコア（独自算出の注目度）: 25.85736569130897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pairwise evaluation of large language models (LLMs) has become the dominant paradigm for benchmarking open-ended tasks, yet non-transitive preferences, where evaluators prefer A over B, B over C, but C over A, fundamentally undermine ranking reliability. We show that this critical issue stems largely from low-quality data that contains inherently ambiguous preference pairs. To address this challenge, we propose ELSPR, a principled graph-theoretic framework that models pairwise preferences as tournament graphs and systematically identifies problematic training data. ELSPR quantifies non-transitivity through strongly connected components (SCCs) analysis and measures overall preference clarity using a novel normalized directed graph structural entropy metric. Our filtering methodology selectively removes preference data that induce non-transitivity while preserving transitive preferences. Extensive experiments on the AlpacaEval benchmark demonstrate that models fine-tuned on ELSPR-filtered data achieve substantial improvements: a 13.8% reduction in non-transitivity, a 0.088 decrease in structural entropy, and significantly enhanced discriminative power in real-world evaluation systems. Human validation confirms that discarded data exhibit dramatically lower inter-annotator agreement (34.4% vs. 52.6%) and model-human consistency (51.2% vs. 80.6%) compared to cleaned data. These findings establish ELSPR as an effective data self-purification approach for developing more robust, consistent, and human-aligned LLM evaluation systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)のペアワイズ評価は、オープンエンドタスクのベンチマークにおいて支配的なパラダイムとなっている。 この重要な問題は、本質的に曖昧な選好ペアを含む低品質データに起因していることを示す。 この課題に対処するために,トーナメントグラフとしてペアワイズ選好をモデル化し,問題のあるトレーニングデータを体系的に同定する,原則付きグラフ理論フレームワークであるESSPRを提案する。 ELSPRは、強結合成分(SCC)分析を通じて非透過性を定量化し、新しい正規化グラフ構造エントロピー計量を用いて全体的な嗜好の明確度を測定する。 我々のフィルタリング手法は、推移的嗜好を保ちながら非推移性を誘導する選好データを選択的に除去する。 AlpacaEvalベンチマークの大規模な実験により、ESSPRフィルタデータに微調整されたモデルでは、非透過性の13.8%の低減、構造エントロピーの0.088の削減、実世界の評価システムにおける識別力の大幅な向上など、大幅な改善が達成された。 人間の検証では、廃棄されたデータは、クリーン化されたデータに比べて、アノテーション間の合意(34.4%対52.6%)とモデル人間の一貫性(51.2%対80.6%)が劇的に低いことが確認されている。 これらの結果から,ESPRはより堅牢で一貫した,人間対応のLCM評価システムを開発するための効果的なデータ自己浄化手法として確立されている。

関連論文リスト

• Advancing Tabular Stroke Modelling Through a Novel Hybrid Architecture and Feature-Selection Synergy [0.9999629695552196]
  本研究は、ストロークを予測するように設計されたデータ駆動型、解釈可能な機械学習フレームワークを開発し、検証する。 定期的に収集された人口統計、生活習慣、臨床変数は4,981件の公的なコホートから得られた。 提案したモデルでは精度97.2%、F1スコア97.15%が達成され、先行する個人モデルと比較して大幅に向上した。
  論文  参考訳（メタデータ） (2025-05-18T21:46:45Z)
• Leveraging Robust Optimization for LLM Alignment under Distribution Shifts [52.983390470606146]
  人間の値に整合した出力を生成するために、大規模言語モデルを操る上で、優先順位アライメント手法はますます重要になっている。 このようなシフトに拘わらず、好みのアライメントを改善する新しい分布対応最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-08T09:14:38Z)
• Gradient Extrapolation for Debiased Representation Learning [7.183424522250937]
  GERNE(Gradient Extrapolation for Debiased Representation Learning)は、未知の属性トレーニングケースと未知の属性トレーニングケースの両方において、バイアス付き表現を学習するように設計されている。 GERNEは、ERM、reweighting、resamplingといったメソッドをデバイアスする一般的なフレームワークとして機能し、特別なケースとして示される。 提案手法は5つのビジョンと1つのNLPベンチマークで検証され、最先端のベースライン手法と比較して競争力があり、しばしば優れた性能を示す。
  論文  参考訳（メタデータ） (2025-03-17T14:48:57Z)
• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• EACO: Enhancing Alignment in Multimodal LLMs via Critical Observation [58.546205554954454]
  臨界観測(EACO)によるMLLMのアライメント向上を提案する。 EACOは、経済的に5k画像のみを使用して、MLLMを自己生成の選好データで整列する。 EACOは幻覚全体の65.6%をHalusionBenchで減らし、MME-Cognitionで21.8%改善する。
  論文  参考訳（メタデータ） (2024-12-06T09:59:47Z)
• Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
  LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。 本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
  論文  参考訳（メタデータ） (2024-09-10T17:54:28Z)
• Crafting Efficient Fine-Tuning Strategies for Large Language Models [2.633490094119608]
  200サンプル未満の細調整された大型言語モデル(LLM)は、製品属性抽出タスクにおいて、モデル精度を70%から88%に向上させることができる。 トレーニング時間全体の20%のモデルを評価するベイズハイパーパラメータ最適化法は,最終的なモデル性能と強く相関する。 このアプローチにより、独立したテストセットで評価すると、ベースラインモデルよりも精度が2%向上した。
  論文  参考訳（メタデータ） (2024-07-18T21:36:00Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。