論文の概要: CriticGen: Generation-Aware Evaluation as Actionable Feedback

• arxiv url: http://arxiv.org/abs/2609.05439v1
• Date: Thu, 23 Jul 2026 07:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.475602
• Title: CriticGen: Generation-Aware Evaluation as Actionable Feedback
• Title（参考訳）: CriticGen: 行動可能なフィードバックとしてのジェネレーションアウェア評価
• Abstract要約: CriticGenは、きめ細かい世代対応評価フレームワークである。 評価を、回答の改善のための実行可能なコントロールに変える。 そのフィードバックは信頼性の高い回答の改善に変換され、73.17%の回答を93.28%の非劣化率で改善する。
• 参考スコア（独自算出の注目度）: 15.8699554286363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current evaluation methods for large language models are coarse-grained and decoupled from generation, producing generic explanations that fail to provide actionable feedback for model improvement. We propose CriticGen, a fine-grained, generation-aware evaluation framework that turns evaluation into actionable control for answer improvement. CriticGen first generates sample-specific evaluation dimensions and scoring criteria under high-level categories such as subjective, objective, and self-derived constraints. These criteria then serve as a dynamic rubric for jointly producing a score, a reason, an executable refinement suggestion, and a refined answer. This rubric-conditioned refinement process enables models to diagnose flaws and perform targeted answer improvement. Experimental results show that fine-grained evaluation should be both instance-specific and actionable. CriticGen induces higher-quality rubrics, improving relevance/coverage from 3.33/4.03 to 3.97/4.24. CriticGen also achieves the best score correlations, with 0.9556 Pearson and 0.9560 Spearman, and raises the F1 of criterion-grounded reasons and executable suggestions from 0.6369/0.5994 to 0.7554/0.7900. Crucially, its feedback translates into reliable answer improvement, improving 73.17% of answers with a 93.28% non-degradation rate.
• Abstract（参考訳）: 大規模言語モデルに対する現在の評価手法は、粗粒化され、生成から切り離され、モデル改善のための実用的なフィードバックの提供に失敗する一般的な説明が生成される。 提案するCryticGenは,評価を応答改善のための実行可能な制御に変換する,きめ細かな世代認識評価フレームワークである。 CriticGenはまず、主観的、客観的、自己由来の制約といった高レベルなカテゴリの下で、サンプル固有の評価基準と評価基準を生成する。 これらの基準は、スコア、理由、実行可能な改善提案、そして洗練された答えを共同で生成するための動的ルーリックとして機能する。 このルーリック条件の精製プロセスにより、モデルが欠陥を診断し、ターゲットの回答を改善することができる。 実験結果から, きめ細かい評価は, インスタンス固有かつ動作可能であることが示唆された。 CriticGenは高品質のルーリックを誘導し、3.33/4.03から3.97/4.24に関連性/カバーを改善した。 CriticGenはPearson 0.9556とSpearman 0.9560のスコア相関も達成し、F1の基準付き理由と実行可能な提案を0.6369/0.5994から0.7554/0.7900に引き上げている。 重要なことに、そのフィードバックは信頼性の高い回答の改善に変換され、73.17%の回答が93.28%の非劣化率で改善された。

関連論文リスト

• Co-Evolving LLM Evaluators and Policies via DynamicRubric [67.2962847914162]
  政策によって引き起こされたサンプルに対する評価者フィードバックによるポストトレーニングは、大きな言語モデルを改善するための主要なメカニズムとなる。 反応条件付き評価器であるDynamicRubricを提案する。 8Bバックボーンを用いた実験では、DynamicRubricは評価器のパフォーマンスを改善し、ベースラインよりも強力なポリシー管理を提供する。
  論文  参考訳（メタデータ） (2026-07-22T12:35:40Z)
• LongSumEval: Question-Answering Based Evaluation and Feedback-Driven Refinement for Long Document Summarization [5.106530060248491]
  LongSumEvalは構造化された質問応答フィードバックを通じて評価と生成を行う統合フレームワークである。 このフレームワークは、要約品質を回答可能性と質問と回答のペアの実際のアライメントとして運用する。 構造化されたフィードバックは、再トレーニングせずに自己修正を通じて、大幅な品質改善を可能にする。
  論文  参考訳（メタデータ） (2026-04-28T02:07:56Z)
• GenArena: How Can We Achieve Human-Aligned Evaluation for Visual Generation Tasks? [29.804627410258732]
  我々は、ペアワイズ比較パラダイムを活用する統一評価フレームワークを導入し、安定的かつ人道的な評価を確実にする。 提案手法は,評価精度を20%以上向上し,信頼性の高いLMArenaリーダボードとSpearmanの0.86の相関性を実現する。
  論文  参考訳（メタデータ） (2026-02-05T18:52:48Z)
• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• Self-Generated Critiques Boost Reward Modeling for Language Models [57.60881438647227]
  Critic-RMは、余分な監督なしに自己生成した批評を使って報酬モデルを改善するフレームワークである。 実験の結果、Critic-RMは標準報酬モデルやLLM審査員と比較して報酬モデリングの精度を3.7%-7.3%改善していることがわかった。
  論文  参考訳（メタデータ） (2024-11-25T18:28:26Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• Human Feedback is not Gold Standard [28.63384327791185]
  我々は、トレーニングと評価の両方において、人間のフィードバックの使用を批判的に分析する。 選好スコアはかなり良いカバレッジを持っているが、事実性のような重要な側面は低く表現されている。
  論文  参考訳（メタデータ） (2023-09-28T11:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。