論文の概要: From Blind Guess to Informed Judgment: Teaching LLMs to Evaluate Materials by Building Knowledge-Augmented Preference Signals

• arxiv url: http://arxiv.org/abs/2605.29555v1
• Date: Thu, 28 May 2026 08:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.048166
• Title: From Blind Guess to Informed Judgment: Teaching LLMs to Evaluate Materials by Building Knowledge-Augmented Preference Signals
• Title（参考訳）: Blind Guess から Informed Judgment へ:LLM に知識付加型選好信号の構築による教材評価を教える
• Authors: Yeyong Yu, Wenya Hu, Xing Wu, Quan Qian,
• Abstract要約: MaterEvalは専門家のルールに従って評価を行い、証拠を提供する。 本稿では,小規模サブセットの詳細なレビューから大規模迅速スクリーニングを分離する高速スロー推論手法を提案する。 その結果、エキスパートルールは学習可能な優先信号に体系的に変換され、低コストでデプロイ可能な評価モジュールが実現された。
• 参考スコア（独自算出の注目度）: 13.95417871252485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As candidate generation and high-throughput experimentation advance, the primary bottleneck in materials discovery is shifting from property prediction to making reliable evaluations among massive candidate sets. We propose a Knowledge-Augmented Preference Signals Framework, MaterEval, that automatically produces, for the same candidate, two evaluations: an informed judgment that follows expert rules and provides supporting evidence, and a rule-removed blind guess. By pairing the two evaluations as preference data, we guide general-purpose large language models (LLMs), originally lacking materials-specific criteria, from intuitive judgment toward reliable evaluation supported by explicit evidence. To balance throughput, cost, and reliability, we further introduce a fast-slow reasoning scheme that decouples large-scale rapid screening from in-depth review on a small subset. Using high-entropy alloy (HEA) assessment as a case study, we show that, without external retrieval and relying solely on internalized capabilities, small open-source LLMs achieve substantial gains in accuracy, conclusion consistency, and evidence discrimination, approaching the performance of rule-based closed-source LLMs. These results demonstrate that expert rules can be systematically transformed into learnable preference signals, enabling a low-cost and deployable evaluation module for autonomous materials discovery loops.
• Abstract（参考訳）: 候補生成と高スループット実験の進展に伴い, 材料発見における主要なボトルネックは, 特性予測から大規模候補集合間の信頼性評価へと移行している。 本稿では,専門家のルールに従う情報判断と,支援された証拠を提供する情報判断と,ルールを排除したブラインド推定の2つの評価を,同一候補に対して自動生成する,知識付加型参照信号フレームワークMaterEvalを提案する。 この2つの評価を選好データとして組み合わせることで,資料固有の基準を欠いた汎用大規模言語モデル(LLM)を,直観的な判断から明確な証拠によって支持された信頼性評価へ導く。 スループット、コスト、信頼性のバランスをとるために、我々はさらに、小さなサブセットの詳細なレビューから大規模な高速スクリーニングを分離する高速スロー推論手法を導入する。 高エントロピー合金 (HEA) の評価をケーススタディとして, 内部化能力のみに頼らずに, 小型オープンソースLCMは精度, 結論整合性, 証拠識別の大幅な向上を達成し, ルールベースクローズドソースLCMの性能に迫ることを示す。 これらの結果は,専門家ルールを学習可能な選好信号に体系的に変換し,自律材料発見ループのための低コストで展開可能な評価モジュールを実現することを実証している。

関連論文リスト

• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• LLMs are Biased Evaluators But Not Biased for Retrieval Augmented Generation [28.61326111959728]
  大規模言語モデル(LLM)は評価タスク、特に優先的に評価し、自己生成したコンテンツを好む場合に重大なバイアスを示す。 本研究では,この知識ギャップを,検索強化世代(RAG)フレームワークの2つの重要なフェーズをシミュレートすることによって解決する。 以上の結果とは対照的に,RAGフレームワークに有意な自己選好効果は認められなかった。
  論文  参考訳（メタデータ） (2024-10-28T08:32:09Z)
• Evaluation of Attribution Bias in Generator-Aware Retrieval-Augmented Large Language Models [47.694137341509304]
  大規模言語モデルにおける著者情報に対する属性感度とバイアスを評価する。 文献に著者情報を追加することで, LLMの属性品質を3%から18%大きく変化させることができることを示す。 その結果,資料のメタデータがLCMの信頼度や回答の属性に影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-16T08:55:49Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。