論文の概要: Evaluating LLM-Based Grant Proposal Review via Structured Perturbations

• arxiv url: http://arxiv.org/abs/2603.08281v1
• Date: Mon, 09 Mar 2026 11:53:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.894155
• Title: Evaluating LLM-Based Grant Proposal Review via Structured Perturbations
• Title（参考訳）: LLMに基づく構造摂動によるグラント提案の評価
• Abstract要約: 我々は、6つの品質軸にまたがるLLM感度を探索する摂動型フレームワークを開発した。 我々は, 単一パスレビュー, セクション・バイ・セクション分析, 専門家パネルをエミュレートした「ペルソナのカウンシル」という3つのレビューアーキテクチャを比較した。
• 参考スコア（独自算出の注目度）: 18.689211845609623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI-assisted grant proposals outpace manual review capacity in a kind of ``Malthusian trap'' for the research ecosystem, this paper investigates the capabilities and limitations of LLM-based grant reviewing for high-stakes evaluation. Using six EPSRC proposals, we develop a perturbation-based framework probing LLM sensitivity across six quality axes: funding, timeline, competency, alignment, clarity, and impact. We compare three review architectures: single-pass review, section-by-section analysis, and a 'Council of Personas' ensemble emulating expert panels. The section-level approach significantly outperforms alternatives in both detection rate and scoring reliability, while the computationally expensive council method performs no better than baseline. Detection varies substantially by perturbation type, with alignment issues readily identified but clarity flaws largely missed by all systems. Human evaluation shows LLM feedback is largely valid but skewed toward compliance checking over holistic assessment. We conclude that current LLMs may provide supplementary value within EPSRC review but exhibit high variability and misaligned review priorities. We release our code and any non-protected data.
• Abstract（参考訳）: 本稿では,AI支援型助成金の提案が,研究エコシステムの「マルサストラップ」のような手作業による評価能力よりも優れており,LLMによる高評価のための助成金審査の能力と限界について検討する。 6つのESSRC提案を用いて、資金、タイムライン、能力、アライメント、明快さ、インパクトの6つの品質軸にLLM感度を示す摂動ベースのフレームワークを開発する。 我々は, 単一パスレビュー, セクション・バイ・セクション分析, 専門家パネルをエミュレートした「ペルソナのカウンシル」という3つのレビューアーキテクチャを比較した。 セクションレベルのアプローチは検出率とスコアリング信頼性の両面でオルタナティブを著しく上回り、計算コストのかかるカウンシル法はベースラインに匹敵する性能を示した。 検出は摂動型によって大きく異なり、アライメントの問題は容易に特定できるが、明快な欠陥は全てのシステムでほとんど失われている。 人間の評価は、LCMのフィードバックは概ね有効であるが、全体的評価よりもコンプライアンスチェックに苦慮していることを示している。 結論として,現在のLCMはEPSRCレビューにおいて補助的な価値を提供する可能性があるが,高い多様性と不整合性レビューの優先順位を示す。 コードと保護されていないデータをリリースします。

関連論文リスト

• Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards [6.002323709229882]
  大規模言語モデル(LLM)は、自動エッセイスコア(AES)と自動フィードバック生成(AFG)に広く応用されている。 RLによるエッセイ評価とフィードバック生成を協調的に最適化する統一LLMフレームワークであるRLAESを提案する。 フィードバック品質を計測し、解釈し、トレーニングに役立てるために、RLに基づくフィードバック評価(RFE)を導入する。
  論文  参考訳（メタデータ） (2026-07-21T15:49:02Z)
• BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation [11.37493959290663]
  本稿では,参照型生成環境における回答の正当性を評価するためのエンコーダ駆動方式であるBERT-as-a-Judgeを紹介する。 より大規模なLLM審査員のパフォーマンスに適合しながら,語彙ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-10T17:08:40Z)
• Robust LLM Performance Certification via Constrained Maximum Likelihood Estimation [14.465019747508604]
  制約付き最大自由度推定(MLE)に基づくLLM故障率推定の新しい,実用的で効率的なアプローチを提案する。 我々は、予測パワー推論(PPI)のような最先端のベースラインに対して、包括的な実証研究を通じてアプローチを検証する。
  論文  参考訳（メタデータ） (2026-03-11T21:48:40Z)
• Reviewing the Reviewer: Elevating Peer Review Quality through LLM-Guided Feedback [75.31379834079648]
  レビューを論証セグメントに分解するLLM駆動型フレームワークを提案する。 遅延思考と特異性をラベル付けした1,309文のデータセットであるLazyReviewPlusもリリースしました。
  論文  参考訳（メタデータ） (2026-01-17T20:32:18Z)
• Rectify Evaluation Preference: Improving LLMs' Critique on Math Reasoning via Perplexity-aware Reinforcement Learning [34.43632129774481]
  本稿では,不均衡な評価嗜好の潜在的な理由を定量化し,検討する。 理由の分析により、評価の嗜好を正すために、新しいパープレキシティ対応強化学習アルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2025-11-13T13:37:45Z)
• IF-CRITIC: Towards a Fine-Grained LLM Critic for Instruction-Following Evaluation [87.38454788767545]
  本稿では,大規模言語モデルにおける命令追従の評価モデルであるIF-CRITICを提案する。 IF-CRITICが提供するスケーラブルな報酬信号により、LLMは命令追従最適化においてかなりの性能向上を達成することができる。
  論文  参考訳（メタデータ） (2025-11-02T17:06:49Z)
• AllSummedUp: un framework open-source pour comparer les metriques d'evaluation de resume [2.2153783542347805]
  本稿では,自動要約評価における課題について検討する。 6つの代表的な指標で実施した実験に基づいて,文献における報告結果と実験環境における観察結果との間に有意な相違点が認められた。 SummEvalデータセットに適用された統一されたオープンソースフレームワークを導入し、評価指標の公平かつ透明な比較をサポートするように設計されている。
  論文  参考訳（メタデータ） (2025-08-29T08:05:00Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• LITE: LLM-Impelled efficient Taxonomy Evaluation [32.8374687916129]
  LITEは階層的な分類評価戦略であり、分類を管理可能なサブ構造に分解する。 これは、定量的なパフォーマンス分析と質的な洞察の両方を提供する。
  論文  参考訳（メタデータ） (2025-04-02T05:33:05Z)
• LLM-Safety Evaluations Lack Robustness [58.334290876531036]
  我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。 本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-03-04T12:55:07Z)
• Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge [90.8674158031845]
  提案するクラウド・ベース・コンピレーション・アセスメントは,提案するクラウド・レスポンスを,候補の応答と比較するための追加のクラウド・レスポンスを導入する。 このプロセスはLLM-as-a-Judgeを効果的に誘導し、より詳細なCoT判定を提供する。 提案手法は, 高い品質のCoTを製造し, 蒸留を判断し, 拒絶サンプリングにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-18T03:31:06Z)
• Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates [11.948519516797745]
  LLM審査員の信頼性とアライメントを評価・比較・可視化するオープンソースフレームワークを開発した。 以上の結果から,LLM判定性能に対するプロンプトテンプレートの影響や,LLM判定器とヒト評価器の中間的なアライメントレベルに有意な影響が示唆された。
  論文  参考訳（メタデータ） (2024-08-23T11:49:01Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。