論文の概要: LLJ Cards: Best practices for the Use of LLMs as Judges

• arxiv url: http://arxiv.org/abs/2609.24516v1
• Date: Mon, 21 Sep 2026 12:54:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.288674
• Title: LLJ Cards: Best practices for the Use of LLMs as Judges
• Title（参考訳）: LLJカード: LLMを審査員として使うためのベストプラクティス
• Abstract要約: 大規模言語モデル (LLM) は評価の代替として人気がある。 LLJ Cardsは、測定理論、自然言語生成、機械学習文学からLLJに基づく評価のための実践的ガイドラインまで、ベストプラクティスを合成するフレームワークである。
• 参考スコア（独自算出の注目度）: 22.322249788097043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large language models (LLMs) have emerged as a popular alternative for evaluation. Often referred to as LLMs as judges (LLJs), these systems have been widely adopted by researchers and practitioners across a broad range of measurement tasks, driven by their strong performance, scalability, and cost-effectiveness relative to human judgment. However, a growing body of work has shown that the use of LLJs raise concerns about their validity and reliability as evaluators. Existing efforts to address these challenges have largely focused on developing bias-mitigation techniques and refining prompting strategies. While these approaches represent an important step forward, they primarily offer technical fixes and leave a more fundamental challenge unaddressed: the lack of standardized, transparent, and reproducible evaluation practices. In this paper, we introduce LLJ Cards, a framework that synthesizes best practices from measurement theory, natural language generation, and machine learning literature into practical guidelines for LLJ-based evaluations. While LLJs offer a promising path toward scalable evaluation, their effective use requires grounding in rigorous evaluation principles to ensure validity, reliability, and reproducibility. LLJ Cards addresses this need by providing a structured framework for applying these principles in the design and reporting of automated evaluations.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) が評価の代替として人気を博している。 LLMs as judges (LLJs) と呼ばれることが多いが、これらのシステムは、人間の判断に対する強い性能、スケーラビリティ、費用対効果によって、幅広い測定タスクの研究者や実践者によって広く採用されている。 しかし, LLJの使用は, 評価対象としての有効性や信頼性に懸念を抱くことが明らかとなった。 これらの課題に対処する既存の取り組みは、主にバイアス軽減技術の開発と改善戦略に重点を置いている。 これらのアプローチは重要な一歩だが、主に技術的な修正を提供し、標準化された、透明で再現可能な評価プラクティスの欠如という、より根本的な課題を未解決のまま残している。 本稿では,測定理論,自然言語生成,機械学習の文献からベストプラクティスを合成するフレームワークであるLLJ Cardsを,LLJによる評価のための実践的ガイドラインに導入する。 LLJは、スケーラブルな評価への有望な道を提供する一方で、その効果的な利用には、妥当性、信頼性、再現性を保証するために厳密な評価原則を基礎にする必要がある。 LLJ Cardsは、これらの原則を自動評価の設計と報告に適用するための構造化されたフレームワークを提供することによって、このニーズに対処する。

関連論文リスト

• BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation [11.37493959290663]
  本稿では,参照型生成環境における回答の正当性を評価するためのエンコーダ駆動方式であるBERT-as-a-Judgeを紹介する。 より大規模なLLM審査員のパフォーマンスに適合しながら,語彙ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-10T17:08:40Z)
• Neither Valid nor Reliable? Investigating the Use of LLMs as Judges [23.16086453334644]
  審査員としての大規模言語モデル(LLJ)は、従来のメトリクスに代わる有望な代替手段として現れてきたが、その妥当性は未検討のままである。 本論では,LLJに対する現在の熱意は,信頼性と妥当性に関する厳密な調査を評価対象として上回っているため,時期尚早である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-25T14:43:10Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• A Practical Guide for Evaluating LLMs and LLM-Reliant Systems [1.1715858161748576]
  本稿では,代表的なデータセットを積極的にキュレートし,有意義な評価指標を選択するための実践的評価フレームワークを提案する。 我々は,現実の要求に順応し,ユーザニーズに応えなければならないシステムの実践的開発と展開をうまく統合する有意義な評価手法を採用する。
  論文  参考訳（メタデータ） (2025-06-16T01:18:16Z)
• Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。 単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。 本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-01T09:36:56Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。