論文の概要: SAGE: Schema-Guided LLMs for Grant Review

• arxiv url: http://arxiv.org/abs/2609.20829v1
• Date: Wed, 22 Jul 2026 17:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.096383
• Title: SAGE: Schema-Guided LLMs for Grant Review
• Title（参考訳）: SAGE:Schema-Guided LLMs for Grant Review
• Abstract要約: SAGEは補助金を構造化されたチェックに変換し、その判断をアプリケーションパッケージから証拠にリンクする。 我々はSAGEを35の非営利助成金申請で2段階評価した。
• 参考スコア（独自算出の注目度）: 35.18016233072556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grant reviewers must apply detailed criteria to application forms, budgets, and supporting documents while producing assessments that colleagues can inspect. We present SAGE, Schema-Guided Aspect-Based Grant Evaluation, a system that translates a grant rubric into structured checks and links its judgements to evidence from the application package. We evaluate SAGE in two stages on 35 nonprofit grant applications. A post-factum comparison with 105 reviews from the original competition shows fair ordinal agreement (kappa = 0.29). The foundation then conducted a criterion-level re-review after inspecting SAGE, producing 202 assessments. In this assisted round, SAGE reached kappa = 0.58 and outperformed a one-prompt-per-criterion baseline (kappa = 0.33 on the common subset), with higher rank correlation and lower error. A claim-level audit further identifies confirmed, disputed, and unaddressed parts of the structured draft. SAGE operationalizes the review methodology by producing a detailed, evidence-linked, and auditable draft for expert correction.
• Abstract（参考訳）: グラント・レビュアーは、同僚が検査できる評価を作成しながら、申請書、予算、および文書のサポートに詳細な基準を適用しなければならない。 SAGE, Schema-Guided Aspect-Based Grant Evaluationは,付与されたルーリックを構造化されたチェックに変換し,その判断をアプリケーションパッケージから証拠にリンクするシステムである。 我々はSAGEを35の非営利助成金申請で2段階評価した。 オリジナルコンペティションの105レビューと比較すると、公正な条例合意(kappa = 0.29)が示されている。 財団はその後、SAGEを検査した後、基準レベルの見直しを行い、202のアセスメントを生み出した。 この補助ラウンドでは、SAGE は Kappa = 0.58 に達し、より高いランク相関と低いエラーで 1-prompt-per-criterion のベースライン(共通サブセットでは Kappa = 0.33 )を上回った。 クレームレベルの監査は、構造化されたドラフトの確認、論争、未承認の部分をさらに特定する。 SAGEは、専門家の修正のための詳細な、エビデンスにリンクされた監査可能なドラフトを作成することで、レビュー方法論を運用する。

関連論文リスト

• Authority-Preserving Evaluation of Medical Vision-Language Assistants [69.11739400975445]
  提案品質と選択された行動品質は、異なる評価対象である。 我々は、両方のアクションを記録するフレームワークAuthEvalを紹介し、宣言された局所的基準の下で選択されたアクションをスコアし、実行可能であれば、同じルールで辞退した提案をスコアする。
  論文  参考訳（メタデータ） (2026-09-14T19:17:23Z)
• Understanding before verifying: Claim normalization for automated citation verification [6.671634770419851]
  Claim-Normalized Citation Verification (CNCV) はクレーム正規化、根拠付きエビデンス検索、引用分類からなる新しい3段階のフレームワークである。 我々は,CNCVを18個の分類器で評価し,人間の注釈付き引用インスタンスの因子的実験を行った。
  論文  参考訳（メタデータ） (2026-08-31T01:58:59Z)
• SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
  SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。 我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。 我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2026-08-07T16:11:46Z)
• Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents [7.397429318828859]
  大規模言語モデル(LLM)は、複雑なプロフェッショナルタスクをますますサポートしているが、ルール集約型文書レビューにおけるそれらの能力は、十分に評価されていない。 既存のベンチマークはドメイン知識と質問応答に重点を置いており、プロのドキュメントの品質レビューをほとんど見落としている。 GB/T-Benchは,全国標準文書の構造化レビューのための最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-08-06T17:27:23Z)
• Deployment-Relevant Alignment Cannot Be Inferred from Model-Level Evaluation Alone [11.663456969895462]
  機械学習におけるアライメント評価は、主にモデルの評価となっている。 本稿では, モデルレベルの評価だけでは, 配置関連アライメントを推定できないことを論じる。
  論文  参考訳（メタデータ） (2026-05-06T03:28:30Z)
• Making AI-Assisted Grant Evaluation Auditable without Exposing the Model [0.0]
  本稿では,遠隔検定による要求の整合を支援するTEEアーキテクチャを提案する。 このアーキテクチャにより、外部検証者はどのモデル、ルーブリック、プロンプトテンプレート、入力表現が使われたかをチェックすることができる。 我々は、秘密のAI推論、証明可能なAI監査、ゼロ知識機械学習、アルゴリズムのアカウンタビリティ、AI支援ピアレビューに対する設計を位置付ける。
  論文  参考訳（メタデータ） (2026-04-28T04:10:04Z)
• ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
  公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。 本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。 本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
  論文  参考訳（メタデータ） (2026-04-15T16:33:04Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• PAVE: Premise-Aware Validation and Editing for Retrieval-Augmented LLMs [8.082352336629816]
  PAVEは、根拠に基づく質問応答のための推論時検証層である。 検索されたコンテキストを質問条件のアトミックな事実に分解し、回答をドラフトし、抽出された前提によってそのドラフトがどの程度うまくサポートされているかをスコアし、ファイナライズ前に低サポート出力を更新する。
  論文  参考訳（メタデータ） (2026-03-21T06:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。