論文の概要: Can LLMs predict the outcomes of machine learning experiments?

• arxiv url: http://arxiv.org/abs/2610.22599v1
• Date: Thu, 15 Oct 2026 19:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.651243
• Title: Can LLMs predict the outcomes of machine learning experiments?
• Title（参考訳）: LLMは機械学習実験の結果を予測することができるか?
• Abstract要約: 大規模言語モデル(LLM)はすでに機械学習(ML)の実験を提案し、選択し、実行することができる。 本研究では,現在のフロンティアLLMにおけるこのような直感を,自己生成ML実験のアイデアの影響をどの程度正確に予測するかを評価することによって評価する。
• 参考スコア（独自算出の注目度）: 1.6575235932435444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in AI make Recursive Self-Improvement (RSI) increasingly plausible. Large Language Models (LLMs) can already propose, select, and run Machine Learning (ML) experiments. However, the space of possible design choices in ML is vast. An LLM that proposes an experiment needs a reliable intuition of whether it is worth running given the timing constraints of long training runs. In this work, we measure such intuition in current frontier LLMs by evaluating how accurately they predict the impact of self-generated ML experiment ideas before these are put into training runs. To this end, we construct a dataset of 288 LLM-proposed ideas on eight MLE-bench tasks. We then prompt five frontier LLMs (GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1, Kimi K3, and GLM-5.3) to predict the impact of each idea and compare their predictions with the actual outcomes after training. We report four main findings. First, LLM predictions are substantially better than random chance but far from accurate: even the best model, Claude Opus 5.5, explains only half of the variance in outcomes (R^2 = 0.49). Second, we notice that all tested models systematically underestimate the magnitude of the changes. Third, prediction quality varies widely across tasks. Finally, the choice of the coding harness that actually implements the ideas has little effect on outcomes, and we find no evidence of self-preference. Higher reasoning settings and additional context lead to modest gains. Overall, our results show that current LLMs have useful but limited intuition about which ML ideas will work. We release our dataset to support further study.
• Abstract（参考訳）: AIの最近の進歩は、再帰的自己改善(RSI)がますます妥当になっている。 大規模言語モデル(LLM)はすでに機械学習(ML)の実験を提案し、選択し、実行することができる。 しかし、MLにおける設計上の選択肢の空間は広い。 実験を提案するLLMは、長時間のトレーニング実行のタイミング制約を考えると、それが実行に値するかどうかの信頼性の高い直観が必要である。 本研究では,現在のフロンティアLSMにおけるこのような直感を,学習に先立って自己生成ML実験のアイデアがどの程度の精度で影響を予測できるかを評価することによって評価する。 この目的のために,8つのMLE-benchタスクに対して288 LLMのアイデアを提示するデータセットを構築した。 次に,5つのフロンティアLSM(GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1, Kimi K3, GLM-5.3)に,各アイデアの影響を予測し,トレーニング後の実際の結果と比較する。 主な4つの所見を報告する。 まず、LSM予測はランダムな確率よりもかなり優れているが、正確ではない:最高のモデルであるクロード・オプス5.5でさえ結果のばらつきの半分しか説明できない(R^2 = 0.49)。 第2に、すべてのテストモデルが、変更の規模を体系的に過小評価していることに気付きました。 第三に、予測品質はタスクによって大きく異なる。 最後に、アイデアを実際に実装するコーディングハーネスの選択は結果にはほとんど影響を与えず、自己評価の証拠は見つからない。 より高度な推論設定と追加のコンテキストは、控えめな利得につながる。 その結果,現在のLLMは,どのMLのアイデアが機能するかという直感が有用だが限定的であることがわかった。 さらなる研究を支援するためにデータセットをリリースします。

関連論文リスト

• Story Point Estimation Using Large Language Models [1.839031891198526]
  本研究では,大規模言語モデル (LLM) を用いたストーリーポイント推定手法について検討した。 トレーニングデータ(ゼロショットプロンプト)がなければ、LLMは80%のデータでトレーニングされた教師付きディープラーニングモデルよりもストーリーポイントを予測できる。
  論文  参考訳（メタデータ） (2026-03-06T13:34:09Z)
• From Text to Time? Rethinking the Effectiveness of the Large Language Model for Time Series Forecasting [22.052783052469344]
  時系列予測のバックボーンとして事前訓練された大言語モデル(LLMs)を用いることは、近年、大きな研究関心を集めている。 小さなデータセット上でのLCMベースのモデルのトレーニングとテストは、しばしばDecoderとDecoderがデータセットに過度に適応するようになることを観察する。 大規模な実験により、LSMのバックボーンはある程度の可能性を証明しているが、予測性能は限られていることが明らかになった。
  論文  参考訳（メタデータ） (2025-04-09T13:20:09Z)
• Do Large Language Models Exhibit Spontaneous Rational Deception? [0.913127392774573]
  大規模言語モデル (LLM) は、そのように促されるときの判断に有効である。 しかし、どんな条件で自然に騙されるのか? 本研究は, LLMが生み出す自発誤を, 予め登録した実験プロトコルで評価する。
  論文  参考訳（メタデータ） (2025-03-31T23:10:56Z)
• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
  大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。 モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。 我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
  論文  参考訳（メタデータ） (2023-11-14T23:40:22Z)
• Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve [21.55766758950951]
  我々は、単語予測タスクを解決するために、大規模言語モデルが採用する戦略について予測する。 11 つのタスクで 2 つの LLM を評価し,LLM が確率の影響を受けていることを示す。 我々は、LSMをまるで人間であるかのように評価するのではなく、異なるタイプのシステムとして扱うべきだと結論付けている。
  論文  参考訳（メタデータ） (2023-09-24T13:35:28Z)
• Making Pre-trained Language Models both Task-solvers and Self-calibrators [52.98858650625623]
  プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。 以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。 課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。