論文の概要: LLM Evaluators Recognize and Favor Their Own Generations

• arxiv url: http://arxiv.org/abs/2404.13076v1
• Date: Mon, 15 Apr 2024 16:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-28 11:16:37.578407
• Title: LLM Evaluators Recognize and Favor Their Own Generations
• Title（参考訳）: LLM評価器は、自身の世代を認識し、評価する
• Authors: Arjun Panickssery, Samuel R. Bowman, Shi Feng,
• Abstract要約: 自己認識能力が自己評価に寄与するかどうかを検討する。 自己認識能力と自己参照バイアスの強さとの間には線形な相関関係が認められた。 我々は、自己認識が偏見のない評価やAIの安全性をより一般的に阻害する方法について論じる。
• 参考スコア（独自算出の注目度）: 33.672365386365236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evaluation using large language models (LLMs) has proven valuable not only in benchmarking but also methods like reward modeling, constitutional AI, and self-refinement. But new biases are introduced due to the same LLM acting as both the evaluator and the evaluatee. One such bias is self-preference, where an LLM evaluator scores its own outputs higher than others' while human annotators consider them of equal quality. But do LLMs actually recognize their own outputs when they give those texts higher scores, or is it just a coincidence? In this paper, we investigate if self-recognition capability contributes to self-preference. We discover that, out of the box, LLMs such as GPT-4 and Llama 2 have non-trivial accuracy at distinguishing themselves from other LLMs and humans. By fine-tuning LLMs, we discover a linear correlation between self-recognition capability and the strength of self-preference bias; using controlled experiments, we show that the causal explanation resists straightforward confounders. We discuss how self-recognition can interfere with unbiased evaluations and AI safety more generally.
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いた自己評価は、ベンチマークだけでなく、報酬モデリング、立憲AI、自己修正といった手法にも価値があることが証明されている。 しかし,LLMが評価器と評価器の両方に作用するため,新たなバイアスがもたらされる。 そのようなバイアスの1つは自己選好であり、LLM評価器は出力を他よりも高く評価する一方、人間のアノテータはそれらが同等の品質であるとみなす。 しかし、LLMはテキストにより高いスコアを与えるとき、実際に自分のアウトプットを認識しているのだろうか? 本稿では,自己認識能力が自己評価に寄与するかどうかを検討する。 GPT-4 や Llama 2 のような LLM は他の LLM や人間と区別する精度が低いことが判明した。 LLMを微調整することにより、自己認識能力と自己参照バイアスの強さの線形相関が発見され、制御された実験により、因果説明は簡単な共同創設者に抵抗することを示す。 我々は、自己認識が偏見のない評価やAIの安全性をより一般的に阻害する方法について論じる。

関連論文リスト

• Self-Preference Bias in LLM-as-a-Judge [13.880151307013321]
  大規模言語モデル(LLM)における自己参照バイアスを測定するための新しい指標を提案する。 以上の結果から, GPT-4は自己選好バイアスがかなり高いことが示唆された。 このことは、偏見の本質は難易度にあることを示唆し、自己選好バイアスは LLM がより親しみやすいテキストを好むため存在することを示唆している。
  論文  参考訳（メタデータ） (2024-10-29T07:42:18Z)
• Unveiling Scoring Processes: Dissecting the Differences between LLMs and Human Graders in Automatic Scoring [21.7782670140939]
  大規模言語モデル(LLM)は、構築された応答評価のための自動スコアリングを行う上で、強力な可能性を示している。 人間によってランク付けされた構築された応答は、通常、与えられた格付けされたルーリックに基づいているが、LSMがスコアを割り当てる方法はほとんど不明である。 本稿では,理科の課題に対する学生の書面回答と人間のスコアとの整合性を評価するために,LLMが用いたグレーディングルーブリックを明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T22:26:20Z)
• Self-Cognition in Large Language Models: An Exploratory Study [77.47074736857726]
  本稿では,Large Language Models(LLMs)における自己認識の先駆的研究を行う。 まず,LLMが自己認識を示す場所を評価するために,自己認識指導のプールを構築した。 モデルサイズ, トレーニングデータ品質, 自己認識レベルとの間には, 正の相関関係が認められた。
  論文  参考訳（メタデータ） (2024-07-01T17:52:05Z)
• Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
  Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。 我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
  論文  参考訳（メタデータ） (2024-05-30T17:19:19Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Benchmarking Cognitive Biases in Large Language Models as Evaluators [16.845939677403287]
  大規模言語モデル(LLM)は、簡単なプロンプトと文脈内学習を備えた自動評価器として有効であることが示されている。 我々は,LLMの認知バイアスベンチマークを導入したランキングアウトプットの品質を評価対象として評価する。 LLMはテキスト品質評価器であり、バイアスベンチマークに強い指標を示す。
  論文  参考訳（メタデータ） (2023-09-29T06:53:10Z)
• Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
  Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。 GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。 我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
  論文  参考訳（メタデータ） (2023-03-30T18:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。