論文の概要: Preference Leakage: A Contamination Problem in LLM-as-a-judge

• arxiv url: http://arxiv.org/abs/2502.01534v1
• Date: Mon, 03 Feb 2025 17:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:46.862750
• Title: Preference Leakage: A Contamination Problem in LLM-as-a-judge
• Title（参考訳）: LLM-as-a-judgeにおける汚染問題
• Authors: Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu,
• Abstract要約: 審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
• 参考スコア（独自算出の注目度）: 69.96778498636071
• License:
• Abstract: Large Language Models (LLMs) as judges and LLM-based data synthesis have emerged as two fundamental LLM-driven data annotation methods in model development. While their combination significantly enhances the efficiency of model training and evaluation, little attention has been given to the potential contamination brought by this new model development paradigm. In this work, we expose preference leakage, a contamination problem in LLM-as-a-judge caused by the relatedness between the synthetic data generators and LLM-based evaluators. To study this issue, we first define three common relatednesses between data generator LLM and judge LLM: being the same model, having an inheritance relationship, and belonging to the same model family. Through extensive experiments, we empirically confirm the bias of judges towards their related student models caused by preference leakage across multiple LLM baselines and benchmarks. Further analysis suggests that preference leakage is a pervasive issue that is harder to detect compared to previously identified biases in LLM-as-a-judge scenarios. All of these findings imply that preference leakage is a widespread and challenging problem in the area of LLM-as-a-judge. We release all codes and data at: https://github.com/David-Li0406/Preference-Leakage.
• Abstract（参考訳）: 審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、モデル開発において2つの基本的なLLM駆動型データアノテーション手法として登場した。 これらの組み合わせは、モデルトレーニングと評価の効率を大幅に向上させるが、この新しいモデル開発パラダイムによってもたらされる潜在的な汚染にはほとんど注意が払われていない。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。 本稿ではまず,データジェネレータLSMと判定LSMの共通関係を3つ定義する:同一モデルであり,継承関係を持ち,同一モデルファミリーに属する。 広範な実験を通じて,複数のLCMベースラインとベンチマークにまたがる選好リークに起因する学生モデルに対する審査員の偏見を実証的に確認する。 さらに分析したところ、LLM-as-a-judgeシナリオの既往のバイアスと比較して、優先リークは検出しにくい広範囲な問題であることが示唆された。 これらの結果は, LLM-as-a-judge領域において, 嗜好漏れは広く, 困難な問題であることを示している。 すべてのコードとデータをhttps://github.com/David-Li0406/Preference-Leakage.comでリリースします。

関連論文リスト

• Will LLMs Replace the Encoder-Only Models in Temporal Relation Classification? [2.1861408994125253]
  大規模言語モデル(LLM)は、最近、時間的推論タスクで有望なパフォーマンスを示した。 最近の研究は、閉ソースモデルのみの時間的関係を検出するためにLLMの性能を検証している。
  論文  参考訳（メタデータ） (2024-10-14T13:10:45Z)
• The Good, The Bad, and The Greedy: Evaluation of LLMs Should Not Ignore Non-Determinism [39.392450788666814]
  大規模言語モデル(LLM)の現在の評価は、しばしば非決定論を見落としている。 greedyデコーディングは一般的に、最も評価されたタスクのサンプリング方法よりも優れています。 より小型のLPMはGPT-4-Turboのような大型のモデルと一致するか、超えることができる。
  論文  参考訳（メタデータ） (2024-07-15T06:12:17Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models [56.02275285521847]
  LLm評価器のパネル(PoLL)を用いた評価モデルを提案する。 より多数の小さなモデルで構成されたPoLLは,1つの大判定器より優れ,不整合モデルファミリーの構成によるモデル内バイアスが小さく,しかも7倍以上のコストがかかる。
  論文  参考訳（メタデータ） (2024-04-29T15:33:23Z)
• Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
  大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-05T07:47:34Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。