論文の概要: LEAP: Trajectory-Level Evaluation of LLMs in Iterative Scientific Design

• arxiv url: http://arxiv.org/abs/2605.15341v1
• Date: Thu, 14 May 2026 19:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 03:45:13.132634
• Title: LEAP: Trajectory-Level Evaluation of LLMs in Iterative Scientific Design
• Title（参考訳）: LEAP:反復科学設計におけるLLMの軌道レベル評価
• Authors: Marilyn Zhang, Tianfeng Chen, Fabián Barzuna, Ankita Rathod, Mark E. Whiting,
• Abstract要約: 現在の設計ベンチマークは、固定された地平線でのみ結果スナップショットをスコアする。 LEAPBench は曲線 (AUC) 軌跡距離と古典的ベイズ最適化基準の下で最遠距離領域をペアする。 最終結果から軌道スコアへの切り替えは、一致した地平線でのタスクの53%における最良のモデル決定を変える。
• 参考スコア（独自算出の注目度）: 2.3002606004642723
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs are increasingly deployed in autonomous laboratories, under the assumption that their domain priors and reasoning over iterative feedback let them converge on good designs in fewer iterations than feedback-only baselines. Current iterative scientific design benchmarks, however, score only outcome snapshots at fixed horizons. This leaves the learning trajectory unmeasured, even though the trajectory is what captures learning efficiency, where each iteration saved is a real saving in cost and time. Motivated by this, we examine three evaluation choices that change the conclusions one draws about LLM learning efficiency in iterative scientific design: what to measure, what baseline to compare against, and what to ground against. We introduce LEAPBench, Learning Efficiency in Adaptive Processes, a 55-task framework that pairs a best-so-far area under the curve (AUC) trajectory metric with a classical Bayesian-optimization reference and an audit grounded in published literature. Applied to eight contemporary LLMs, switching from final-outcome to trajectory scoring changes the best-model decision on 53% of tasks at matched horizons, and exposes efficiency gains overlooked by outcome-based scoring. LLMs do not outperform a classical Bayesian baseline. On 16 biology tasks where the oracle's reward signal is aligned with configurations from the published-best design, domain-aware prompting leads to LLM choices that match the published-best's approximately 10 percentage points less often than domain-agnostic prompting at iteration 30. The pattern is sharpest on 6 tasks where the literature-typical and published-best configurations diverge, and domain-agnostic prompting matches the published-best more often on all 6. The trajectory metric also doubles as a tractable training target. Offline reinforcement learning with the metric as a reward improves performance on 14 of 21 held-out tasks.
• Abstract（参考訳）: LLMは、ドメインの優先順位と反復的なフィードバックに対する推論によって、フィードバックのみのベースラインよりも少ないイテレーションで良い設計に収束する、という前提の下で、自律的な研究所にますますデプロイされている。 しかし、現在の反復的な科学的設計ベンチマークは、一定の地平線で結果のスナップショットのみをスコア付けしている。 これは学習の軌跡を未測定のまま残しますが、その軌跡は学習効率を捉えたものであって、各イテレーションを保存することは、コストと時間の真の節約になります。 そこで本研究では, 反復的科学設計におけるLLM学習効率に関する結論を変える3つの評価選択について検討した。 55タスクのフレームワークであるLEAPBenchを紹介する。これは、曲線(AUC)の軌跡距離と古典的ベイズ最適化基準とをペアリングする。 8つの現代のLCMに適用すると、最終結果から軌道スコアへの切り替えは、一致した地平線におけるタスクの53%の最良のモデル決定を変更し、結果ベーススコアによって見落とされた効率向上を公開する。 LLMは古典的ベイズ基底線を上回るものではない。 16の生物学的タスクにおいて、オラクルの報酬信号が発行されたベストデザインの構成と一致している場合、ドメイン認識プロンプトは、発行されたベストの約10%のポイントにマッチするLCMの選択を、イテレーション30におけるドメイン認識プロンプトよりも少なくする。 このパターンは6つのタスクにおいて最もシャープで、文献の典型的設定と出版のベスト設定が分岐し、ドメインに依存しないプロンプトが発行のベストにマッチする。 軌跡距離は、牽引可能な訓練目標も兼ね備えている。 報奨としてメトリクスを用いたオフライン強化学習は、21タスクのうち14タスクのパフォーマンスを向上させる。

関連論文リスト

• References Improve LLM Alignment in Non-Verifiable Domains [118.26447686644808]
  基準誘導型LCM評価器がソフトな「検証器」として機能することでギャップを埋められるか検討する。 基準誘導手法は,フロンティアモデルからの参照を用いて,低能力のLCMジャッジの精度を大幅に向上することを示す。 基準誘導自己改善は、基準出力に対する直接SFTと基準自由判断による自己改善の両方に対して明らかな利得が得られることを示す。
  論文  参考訳（メタデータ） (2026-02-18T19:03:34Z)
• Rethinking the Role of LLMs in Time Series Forecasting [15.951870420397682]
  大規模言語モデル (LLM) は時系列予測 (TSF) に導入され、数値信号以外の文脈知識が組み込まれている。 このような結論は,限られた評価設定に起因し,大規模に保たないことを示す。 以上の結果から,emphLLM4TSでは予測性能が向上し,ドメイン間の一般化が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2026-02-16T13:39:09Z)
• Prioritize the Process, Not Just the Outcome: Rewarding Latent Thought Trajectories Improves Reasoning in Looped Language Models [0.0]
  RLTT(Reward Latent Thought Trajectories)は,潜在的推論軌道全体にわたって報酬を分配する強化学習フレームワークである。 RLTTはGRPOよりも大幅に改善され、MATH-500では+14.4%、AIME24では+16.6%、BeyondAIMEでは+10.0%の精度が向上した。 RLTTは数学に特化して訓練されているにもかかわらず、非数学的推論ベンチマークに効果的に移行し、LoopLMにおける強化学習における軌道レベルの信用割当の有効性を実証している。
  論文  参考訳（メタデータ） (2026-02-11T04:39:42Z)
• PROF: An LLM-based Reward Code Preference Optimization Framework for Offline Imitation Learning [29.373324685358753]
  本稿では,自然言語記述から実行可能報酬関数コードを生成し,改善するためのフレームワークであるPROFと,単一専門家の軌跡を提案する。 また,環境相互作用やRLトレーニングを必要とせず,新たな報酬関数品質評価とランキング戦略であるReward Preference Ranking(RPR)を提案する。
  論文  参考訳（メタデータ） (2025-11-14T14:38:02Z)
• Can LLMs Correct Themselves? A Benchmark of Self-Correction in LLMs [57.10533368622962]
  大規模言語モデル(LLM)の自己補正は、推論性能を高める重要な要素として現れる。 本研究では,自己補正戦略の有効性を評価するためのベンチマークであるCorrectBenchを紹介する。 その結果,1) 自己補正手法は, 複雑な推論タスクにおいて, 精度を向上させることが可能であり, 2) 異なる自己補正戦略の混合により, 効率は低下するものの, さらなる改善がもたらされることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-17T02:40:19Z)
• C3PO: Critical-Layer, Core-Expert, Collaborative Pathway Optimization for Test-Time Expert Re-Mixing [21.119495676190127]
  Mixture-of-Experts (MoE) Large Language Models (LLMs) は、高度に最適化されたエキスパートパスに苦しむ。 プレトレーニングから学んだナイーブな専門家選択は、改善のための驚くべき10～20%の精度ギャップを残します。 テストサンプル毎に異なるレイヤのエキスパートを共同で再重み付けあるいは「再混合」するための新しいテスト時間最適化手法を開発する。
  論文  参考訳（メタデータ） (2025-04-10T17:59:56Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。