論文の概要: Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment

• arxiv url: http://arxiv.org/abs/2608.21057v1
• Date: Fri, 21 Aug 2026 12:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.547135
• Title: Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment
• Title（参考訳）: 薬物発見におけるエージェントAIのロバストLCMに基づく評価システムの設計
• Abstract要約: AstraZenecaに配備された薬剤発見アシスタントChatInventのためのLCM-as-a-Judge評価フレームワークを提案する。 Gemini 3.1 Pro, Claude Opus 4.7, GPT-5, Llama 3.1 70B の5種類のアライメントアノテータを用いて審査を行った。 第三に、人間に注釈を付けた例の少数ショットのデモを用いて、最高のパフォーマンスの審査員を最適化し、人間の多数決との整合性を0.80から0.86に改善する。
• 参考スコア（独自算出の注目度）: 0.764671395172401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic large language model (LLM) systems are reshaping scientific workflows in chemistry and drug discovery, but evaluating their open-ended, tool-augmented outputs remains a fundamental bottleneck. Reference-based metrics such as BLEU and ROUGE fail to capture semantic correctness, while expert human evaluation does not scale to the iteration speed these systems demand. The LLM-as-a-Judge paradigm has emerged as a scalable alternative, but existing drug discovery benchmarks deploy LLM judges without validating their alignment with human experts. In this work, we present an LLM-as-a-Judge evaluation framework for ChatInvent, an agentic drug discovery assistant deployed at AstraZeneca, with four contributions. First, we define four output-quality evaluation dimensions---Completeness, Relevancy, Structural Clarity, and Scope Adherence---alongside deterministic Tool Call Correctness checks. Second, we validate the judge through a human alignment study with five expert annotators, comparing Gemini 3.1 Pro, Claude Opus 4.7, GPT-5, and Llama 3.1 70B as candidate judges. Third, we optimize the best-performing judge using few-shot demonstrations of human-annotated examples, improving alignment with the human majority vote from 0.80 to 0.86. Fourth, applying the optimized judge to 70 held-out questions, we surface concrete limitations and find that informal phrasings do not systematically degrade output quality; if anything, it is helpful to have the LLM rewrite the original question before querying the agent. Our framework provides a reusable template for human-aligned evaluation of agentic systems in scientific domains.
• Abstract（参考訳）: エージェント型大規模言語モデル(LLM)システムは化学と薬物発見の科学的ワークフローを再構築しているが、そのオープンなツール強化されたアウトプットの評価は依然として根本的なボトルネックである。 BLEUやROUGEのような参照ベースのメトリクスはセマンティックな正確さを捉えるのに失敗する。 LLM-as-a-Judgeパラダイムはスケーラブルな代替手段として登場したが、既存の薬物発見ベンチマークでは、人間の専門家との整合性を検証せずにLSMの審査員を配置している。 本研究では,アストラゼネカに配備された薬剤発見アシスタントChatInventのLCM-as-a-Judge評価フレームワークについて,4つのコントリビューションを行った。 まず, 完全性, 関連性, 構造的明瞭度, スコープ順守の4つの評価次元を定義した。 第2に,ジェミニ3.1 Pro,クロードオプス4.7,GPT-5,およびラマ3.170Bの5つのアライメントアノテータを用いたヒトアライメント研究により,審査員を検証した。 第3に、人間に注釈を付けた例の少数ショットのデモを用いて、最高のパフォーマンスの審査員を最適化し、人間の多数決との整合性を0.80から0.86に改善する。 第4に、最適化された判断を70の係留された質問に適用し、具体的な制限を提示し、非公式なフレーズが出力品質を体系的に劣化させていないことを発見した。 我々のフレームワークは、科学的領域におけるエージェントシステムの人為的アライメント評価のための再利用可能なテンプレートを提供する。

関連論文リスト

• Benchmarking LLM Judges for Mobile Agent Evaluation [19.646382307148418]
  我々は,移動エージェント軌道上でのLCM-as-judge法の評価ベンチマークであるMobileJudgeBenchを紹介する。 ベンチマークは,6つのモバイルエージェントベンチマーク,4つのエージェントモデル,68のアプリにまたがる931の人的注釈付きトラジェクトリで構成されている。 まず、サンプルのスクリーンショットを持つ単純な基準判定器は、目的の手法と競合し、しばしば競合する。 第二に、ベンチマークの品質指標は現実世界の判断の有用性を確実に予測する。
  論文  参考訳（メタデータ） (2026-08-11T21:00:46Z)
• Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering [30.567931362297553]
  我々は,多次元の人的判断に基づく最初の専門家による基準のない評価ベンチマークであるBinJudgeBenchを紹介する。 BinJudgeは、人間の専門家との相関を4.5%-24.7%改善し、APIコストを0.06$times$-0.84$times$に削減する。
  論文  参考訳（メタデータ） (2026-08-07T09:48:25Z)
• Counsel: A Meta-Evaluation Dataset for Agentic Tasks [8.10022820678836]
  Counselは、エージェントタスクのメタ評価の最初の公開データセットである。 2つのエージェントベンチマーク上のオープンウェイト LLMJ からのプロセスレベルの批判で構成されている。 ヒューマンアノテータは、各フラグ付きエラーの批判を「スポットオン」、「正確な位置だが、推論が不十分」、または「フラグ付きでない」とラベル付けする。
  論文  参考訳（メタデータ） (2026-06-19T17:30:56Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• How Trustworthy Are LLM-as-Judge Ratings for Interpretive Responses? Implications for Qualitative Research Workflows [0.6437935154416734]
  本研究では,LLM-as-judge評価が解釈品質の人的判断と有意に一致しているかどうかを検討する。 5つの広く採用されている推論モデルを用いて一文解釈応答を生成した。 その結果, LLM-as-judgeスコアは, モデルレベルでの人間の評価において, 幅広い方向の傾向をとらえるが, スコアの程度は著しく異なることがわかった。
  論文  参考訳（メタデータ） (2026-03-09T15:22:41Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning [54.85131761693927]
  意思決定前にLLM審査員に思考を教えるための強化学習フレームワークであるJ1を紹介する。 私たちのコアコントリビューションは、検証不可能で検証可能なプロンプトのすべての判断タスクを、検証可能な報酬を持った統一フォーマットに変換することです。 次に、RLを用いて8B、32B、70Bのスケールで思考判断を訓練し、彼らが最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2025-05-15T14:05:15Z)
• Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。 単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。 本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-01T09:36:56Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。