論文の概要: Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction

• arxiv url: http://arxiv.org/abs/2607.12835v1
• Date: Tue, 14 Jul 2026 14:52:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.17716
• Title: Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction
• Title（参考訳）: LLMは信頼性のあるゴムを書けるか? : 実験再現のためのメタ評価
• Abstract要約: 紙の再生のためのLCM生成ルーブリックの最初の体系的メタ評価について述べる。 ルーブリックをチェックリストスタイルのフォーマットに再構成し、2つのバックボーンモデル間で4世代設定を評価する。
• 参考スコア（独自算出の注目度）: 38.170020271877085
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Rubric-based evaluation is a promising approach for assessing open-ended outputs from LLM-based research agents, particularly in paper reproduction, where direct paper-to-repository comparison is prone to hallucination. However, constructing paper-specific rubrics requires substantial expert effort, limiting the scalability of benchmarks such as PaperBench. In this work, we present, to our knowledge, the first systematic meta-evaluation of LLM-generated rubrics for paper reproduction. We reformulate rubrics into a checklist-style format and evaluate four generation settings across two backbone models. We meta-evaluate generated rubrics intrinsically by semantic similarity and extrinsically by score alignment with ground-truth rubrics. Our results show that the augmented settings substantially improves downstream evaluation alignment, with the strongest setting approaching the human baseline, while intrinsic gains are more modest. Further analyses reveal that LLM-generated rubrics are often overly fine-grained, biased toward high scores, and less adaptive to paper domains, highlighting both the affordances and limitations.
• Abstract（参考訳）: ゴム系評価は, LLM系研究エージェントのオープンエンドアウトプットの評価に有望なアプローチであり, 特に, 紙とリポジトリの直接比較は幻覚の傾向にある。 しかし、紙固有のルーリックを構築するには、PaperBenchのようなベンチマークのスケーラビリティを制限し、かなりの専門的な努力が必要である。 本研究は, LLMによる紙の再生用潤滑剤の系統的メタ評価を, 私たちの知る限り初めて行ったものである。 ルーブリックをチェックリストスタイルのフォーマットに再構成し、2つのバックボーンモデル間で4世代設定を評価する。 生成したルーリックのメタ評価は,意味的類似性および外在的類似性により,また,接地ルースルーリックとのスコアアライメントによって行う。 以上の結果より,本質的な利得はより緩やかであるのに対し,本質的な利得は人体ベースラインに最も近い設定で,下流評価アライメントを大幅に改善することが示された。 さらなる分析により、LLM生成した潤滑剤は、しばしば過度に微細化され、高いスコアに偏り、紙のドメインに適応せず、価格と限界の両方を強調していることが明らかとなった。

関連論文リスト

• Lost in the Evidence? Reproducing Document Position and Context Size Effects in RAG [3.597778914286147]
  Retrieval-Augmented Generation (RAG) システムは、取得した文書がモデルの入力コンテキストに入力されることに依存する。 先行研究は、中年期の喪失や関連する長文現象のような位置に基づく効果を報告している。 トピックサンプリングが分散の主要な原因であることを示し、小さなトピックセットはオーダリング効果を誇張することができる。 また,より現実的なRAGシナリオについて検討した。
  論文  参考訳（メタデータ） (2026-05-26T14:44:19Z)
• Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
  リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。 現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。 本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
  論文  参考訳（メタデータ） (2026-04-02T14:19:47Z)
• Large language models for post-publication research evaluation: Evidence from expert recommendations and citation indicators [2.952559770088323]
  大規模言語モデル(LLM)は、テキストコンテンツに基づいた自動研究評価のための新たな機会を提供する。 本研究では,LLMが専門家の判断や引用に基づく指標に対して出力をベンチマークすることで,ポストパブリケーションのピアレビュータスクをサポートできるかを検討する。
  論文  参考訳（メタデータ） (2026-03-27T11:32:18Z)
• RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation [11.21565372620296]
  大規模言語モデル(LLM)は、スカラースコアや選好を出力する自動グレーダを使用して、ますます評価され、時には訓練される。 この解釈可能性の欠如は、モデル開発、データセットキュレーション、高レベルのデプロイメントに対する有用性を制限している。 本稿では,関連するクエリから推論時にルーリックからドメイン知識を抽出するシンプルな戦略RAGを紹介する。
  論文  参考訳（メタデータ） (2026-03-21T17:10:14Z)
• Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
  DSPy+HELMフレームワークを提案する。 構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。 これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
  論文  参考訳（メタデータ） (2025-11-25T20:37:59Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
  我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。 我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。 我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
  論文  参考訳（メタデータ） (2024-08-19T19:10:38Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。