論文の概要: The Impact of Backbone Evolution on LLM-Based Relevance Assessments

• arxiv url: http://arxiv.org/abs/2610.09820v1
• Date: Wed, 07 Oct 2026 10:42:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.856625
• Title: The Impact of Backbone Evolution on LLM-Based Relevance Assessments
• Title（参考訳）: 背骨の進化がLDMの関連性評価に及ぼす影響
• Abstract要約: 本研究では,背骨の進化過程における関係審査員の行動について検討した。 より新しいバージョンがより良い関連性判断につながるという確固たる証拠は見つからない。 本研究は,モデル更新時に1つのバックボーンバージョン用に設計された判定プロンプトが同等以上の性能を発揮するという仮定に注意する。
• 参考スコア（独自算出の注目度）: 26.002741825146447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are evolving rapidly, with newer models offering stronger capabilities. This suggests that in LLM-based relevance judging, more capable models will achieve higher agreement with human judgements under the same prompt. We challenge this understanding by investigating the behavior of LLM-based relevance judges under backbone evolution. Keeping the prompts fixed, we evaluate a representative single-prompt (UMBRELA) and a rubric-based prompt (EXAM) across sequential model versions of commercial (Gemini, GPT) and open-weight (Qwen, Llama) models. Overall, we find no consistent evidence that newer versions lead to better relevance judges. Crucially, similar or improved aggregate performance does not imply judgment stability: correct judgements made by an earlier version of an LLM backbone are not necessarily preserved by later versions. We investigate the potential drivers of these regressions. Our findings caution against the assumption that judging prompts designed and validated for one backbone version will perform equivalently or better when the model is updated, even within the same family.
• Abstract（参考訳）: LLMは急速に進化しており、新しいモデルはより強力な機能を提供している。 これは、LLMに基づく関連性判定において、より有能なモデルは、同じプロンプトの下でヒトの判断とのより高い一致を達成することを示唆している。 背骨の進化過程におけるLSMに基づく妥当性判断者の行動を調べることで,この理解に挑戦する。 プロンプトの固定を保ちながら、商用(Gemini, GPT)およびオープンウェイト(Qwen, Llama)モデルの逐次モデルバージョンに対して、代表的な単一プロンプト(UMBRELA)とルーリックベースプロンプト(EXAM)を評価した。 全体として、新しいバージョンがより良い関連性判断につながるという一貫した証拠は見つからない。 重要な点として、類似または改善された集約性能は、安定性を判断するものではない: LLMバックボーンの以前のバージョンでなされた正しい判断は、後のバージョンでは必ずしも保存されない。 これらの回帰の潜在的な要因について検討する。 本研究は, モデルが更新された場合, モデルが同一のファミリー内であっても, 1つのバックボーンバージョンに対して設計, 検証された判定プロンプトが同等以上の性能を発揮するという仮定に注意する。

関連論文リスト

• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Small Reward Models via Backward Inference [100.59075794599768]
  FLIP (FLipped Inference for Prompt Reconstruction) は、参照フリーでルーリックフリーな報酬モデリング手法である。 報酬モデリングを後方推論によって再構成し、与えられた応答を最も確実に生成する命令を推論する。
  論文  参考訳（メタデータ） (2026-02-14T01:55:39Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Reverse Engineering Human Preferences with Reinforcement Learning [15.70441204657966]
  大規模言語モデル(LLM)は、人間の嗜好を予測するために訓練された他のLLMによって日常的に評価される。 これまでの研究では、候補LLMが生成した回答をポストホックで編集して、審査員LLMが割り当てたスコアを最大化できることが示されている。 我々は、異なるアプローチを採用し、判定LLMによって提供される信号を、逆向きにモデルをチューニングする報酬として利用する。
  論文  参考訳（メタデータ） (2025-05-21T17:48:16Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Time-Reversal Provides Unsupervised Feedback to LLMs [31.575024356581846]
  Time Reversed Language Models (TRLM) は、応答に条件付きでクエリをスコアし、生成することができる。 TRLMのスコアリングは,従来のクエリのフォワードスコアよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-03T17:54:12Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
  ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。 LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。 自己補充ベースラインよりも+5ポイントの性能向上を達成する。
  論文  参考訳（メタデータ） (2023-11-14T07:26:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。