論文の概要: Initialization Improves LLM-Driven Discovery

• arxiv url: http://arxiv.org/abs/2610.00707v1
• Date: Wed, 30 Sep 2026 20:55:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.764915
• Title: Initialization Improves LLM-Driven Discovery
• Title（参考訳）: 初期化はLLM駆動の発見を改善する
• Abstract要約: 過去の反復の個体数と最終的な発見成功との関係について検討する。 我々は'Modular'と呼ばれる12のハーネススイートを開発し、そのパフォーマンスを5つの多様な発見タスクで特徴づける。 我々は、この崩壊を長引かせることを目的とした、最先端のハーネスと多様性をもたらすハーネスの介入が、一貫性のない利益をもたらすことを発見した。
• 参考スコア（独自算出の注目度）: 31.261610462044086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have been used for novel discovery of algorithms, theorems, drugs, and other tasks through the use of harnesses that prompt an LLM to iteratively optimize an objective. In this work, we study the relationship between the population of previous iterates and eventual discovery success. We generalize past work on harness design to develop a suite of 12 harnesses called 'Modular' and characterize their performance across 5 diverse discovery tasks, finding that discovery success is brittle and sensitive to harness design. We uncover mode collapse, characterized by a dramatic drop in the diversity of iterates, as a common failure mode. We find that popular state-of-the-art harnesses and diversity-inducing harness interventions, which aim to prolong this collapse, yield inconsistent gains. Our results instead uncover that the performance of early discoveries is predictive of eventual success. We therefore propose a universally applicable intervention that performs an initial stage of parallel exploration in order to initialize subsequent iterative optimization. Our method provides consistent gains across many harnesses and target applications, confirming the importance of initialization in LLM-driven discovery.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、アルゴリズム、定理、薬物、その他のタスクの新たな発見に、LLMが目的を反復的に最適化するように促すハーネスの使用に使われてきた。 本研究は, 過去の反復の個体数と, 最終的な発見成功との関係について検討する。 我々は、ハーネス設計における過去の作業を一般化し、"Modular"と呼ばれる12のハーネスのスイートを開発し、そのパフォーマンスを5つの多様な発見タスクで特徴付け、発見の成功が脆弱で、ハーネス設計に敏感であることを発見した。 我々は、共通の障害モードとして、繰り返しの多様性の劇的な低下を特徴とするモード崩壊を明らかにした。 我々は、この崩壊を長引かせることを目的とした、最先端のハーネスと多様性をもたらすハーネスの介入が、一貫性のない利益をもたらすことを発見した。 結果から,早期発見の性能が最終的な成功を予測できることが明らかとなった。 そこで本研究では,並列探索の初期段階において,その後の反復最適化を初期化する手法を提案する。 提案手法は,LLMによる発見における初期化の重要性を検証し,多くのハーネスやターゲットアプリケーションに対して一貫したゲインを提供する。

関連論文リスト

• Back to the Beginning of Heuristic Design: Bridging Code and Knowledge with LLMs [8.10827298136302]
  大規模言語モデル (LLM) は、最近最適化のための高度自動設計 (AHD) を発表した。 既存のほとんどのアプローチは実行可能プログラムを探索し、実行フィードバックから洞察を抽出し、後続のイテレーションをガイドする。 我々は知識が主検索対象となり、コードは単にそれをインスタンス化し、テストするだけであると主張している。
  論文  参考訳（メタデータ） (2026-05-07T12:30:58Z)
• Evaluation-driven Scaling for Scientific Discovery [77.20820317940581]
  並列探索,フィードバック駆動の洗練,局所選択を組み合わせた,シンプルなテスト時間評価駆動スケーリング(SimpleTES)を紹介した。 適切な次元に沿って評価駆動の発見ループをスケールすることで、かなりの利益が得られます。 本研究は, 科学的発見を進展させる中心軸として, 効果的な評価駆動型ループスケーリングを確立した。
  論文  参考訳（メタデータ） (2026-04-21T11:24:09Z)
• Regularized Multi-LLMs Collaboration for Enhanced Score-based Causal Discovery [13.654021365091305]
  我々は,大言語モデル(LLM)を用いて因果発見アプローチを強化する可能性を探る。 本稿では,1つのLLMだけでなく複数のLLMのキャパシティを活用して発見プロセスを増強する汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-27T01:56:21Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• LLM-initialized Differentiable Causal Discovery [0.0]
  異なる因果発見法(DCD)は、観測データから因果関係を明らかにするのに有効である。 しかしながら、これらのアプローチは限定的な解釈可能性に悩まされ、ドメイン固有の事前知識を取り入れる際の課題に直面します。 本稿では,Large Language Models(LLM)に基づく因果探索手法を提案する。
  論文  参考訳（メタデータ） (2024-10-28T15:43:31Z)
• Efficient Reinforcement Learning with Large Language Model Priors [18.72288751305885]
  大規模言語モデル(LLM)は、最近、強力な汎用ツールとして登場した。 本稿では,従来の行動分布としてLLMを扱い,それらをRLフレームワークに統合することを提案する。 LLMに基づくアクションの事前処理を取り入れることで、探索と複雑性の最適化が大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2024-10-10T13:54:11Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。