論文の概要: Language Models Learn to Improve Language Models

• arxiv url: http://arxiv.org/abs/2610.23344v1
• Date: Fri, 16 Oct 2026 11:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.908177
• Title: Language Models Learn to Improve Language Models
• Title（参考訳）: 言語モデルを改善するための言語モデル
• Abstract要約: 大規模言語モデル(LLM)は、言語モデル(LM)開発を含むAI研究を自動化するために、ますます使われている。 本稿では,LLMを強化学習で訓練し,有効なLM改善提案を生成するLM2LMを提案する。 我々は, LM2LMにより, GPT-6-sol が実実験記録300枚を与えられた場合でも, Qwen3.8-27B が GPT-6-sol より優れていることを示す。
• 参考スコア（独自算出の注目度）: 39.93206833993869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to automate AI research, including language-model (LM) development, offering a potential path toward recursive self-improvement. However, turning experimental feedback into a learned ability to propose effective improvements across models faces two challenges. First, training such an ability with real feedback is expensive: reinforcement learning (RL) requires evaluating tens of thousands of proposals, each potentially requiring a full model-training run. Even at ten GPU-hours per run, reward collection alone would consume hundreds of thousands of GPU-hours, motivating a cheaper surrogate. Second, surrogate feedback can become unreliable as policy optimization favors overestimated proposals when the proposal distribution shifts. To address these challenges, we propose LM2LM, which trains LLMs with RL to generate effective LM improvement proposals. To provide scalable feedback, we use a research world model (RWM), a frozen LLM that predicts proposal gains from real experimental records provided in context, as the reward model for RL. To maintain feedback reliability, we periodically execute current-policy proposals ranked highly by the RWM and add their measured outcomes to its context. Across eight autoregressive and diffusion LM development environments, real-execution evaluations on held-out tasks show that LM2LM enables Qwen3.8-27B to outperform GPT-6-sol, even when GPT-6-sol is given 300 real experimental records in context, while requiring 33% lower data-generation cost. LM2LM also generalizes to a model family unseen during training.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語モデル(LM)開発を含むAI研究の自動化にますます使われ、再帰的な自己改善への潜在的経路を提供する。 しかし、実験的なフィードバックをモデル間で効果的な改善を提案する学習能力に変えることは、2つの課題に直面します。 強化学習(RL)には数万の提案を評価し、それぞれが完全なモデルトレーニングを実行する必要がある可能性がある。 1ラン当たり10GPU時間でも、報酬収集だけで数十万のGPU時間を消費し、より安価なサロゲートを動機付けている。 第二に、政策最適化が提案分布のシフト時に過大評価された提案を好むため、サロゲートフィードバックは信頼できないものとなる。 これらの課題に対処するため,LM2LMを提案する。 スケーラブルなフィードバックを提供するため,研究世界モデル(RWM)を用いて,実実験記録から提案の得を予測し,RLの報奨モデルとする。 フィードバックの信頼性を維持するため、RWMによってランク付けされた現在の政治提案を定期的に実施し、その結果をその文脈に付加する。 8つの自己回帰的拡散的LM開発環境において、ホールドアウトタスクにおける実効性評価は、GPT-6-solが300の実実験記録を与えられた場合でも、LM2LMがQwen3.8-27BでGPT-6-solを上回り、データ生成コストは33%低下していることを示している。 LM2LMはまた、トレーニング中に見えないモデルファミリに一般化する。

関連論文リスト

• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Reflect-RL: Two-Player Online RL Fine-Tuning for LMs [38.5495318990769]
  オンライン強化学習(RL)と教師付き微調整(SFT)を用いた微調整言語モデル(LM)システムであるReflect-RLを提案する。 GPT-2 XL 1.56BはReflect-RLで微調整され、Mistral 7Bのようなより大きなオープンソースLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-20T01:04:21Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。