論文の概要: Self-Improvement of Large Language Models: A Technical Overview and Future Outlook

• arxiv url: http://arxiv.org/abs/2603.25681v1
• Date: Thu, 26 Mar 2026 17:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.40102
• Title: Self-Improvement of Large Language Models: A Technical Overview and Future Outlook
• Title（参考訳）: 大規模言語モデルの自己改善: 技術的概要と今後の展望
• Authors: Haoyan Yang, Mario Xerri, Solha Park, Huajian Zhang, Yiyang Feng, Sai Akhil Kogilathota, Jiawei Zhou,
• Abstract要約: 自己改善言語モデルに対するシステムレベルの視点を示す。 既存の手法を整理する統合フレームワークを導入する。 現状の限界について論じ、今後の研究の展望を概説する。
• 参考スコア（独自算出の注目度）: 9.64280702041338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) continue to advance, improving them solely through human supervision is becoming increasingly costly and limited in scalability. As models approach human-level capabilities in certain domains, human feedback may no longer provide sufficiently informative signals for further improvement. At the same time, the growing ability of models to make autonomous decisions and execute complex actions naturally enables abstractions in which components of the model development process can be progressively automated. Together, these challenges and opportunities have driven increasing interest in self-improvement, where models autonomously generate data, evaluate outputs, and iteratively refine their own capabilities. In this paper, we present a system-level perspective on self-improving language models and introduce a unified framework that organizes existing techniques. We conceptualize the self-improvement system as a closed-loop lifecycle, consisting of four tightly coupled processes: data acquisition, data selection, model optimization, and inference refinement, along with an autonomous evaluation layer. Within this framework, the model itself plays a central role in driving each stage: collecting or generating data, selecting informative signals, updating its parameters, and refining outputs, while the autonomous evaluation layer continuously monitors progress and guides the improvement cycle across stages. Following this lifecycle perspective, we systematically review and analyze representative methods for each component from a technical standpoint. We further discuss current limitations and outline our vision for future research toward fully self-improving LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)が進歩を続けるにつれ、人的監督による改善はますますコストがかかり、スケーラビリティが制限されるようになってきています。 モデルが特定の領域における人間レベルの能力に近づくにつれ、人間のフィードバックは、さらなる改善のために十分な情報信号を提供しなくなるかもしれない。 同時に、自律的な決定を行い、複雑なアクションを実行するモデルの能力が高まり、モデル開発プロセスのコンポーネントが徐々に自動化されるような抽象化が自然に実現されます。 これらの課題と機会によって、モデルが自律的にデータを生成し、アウトプットを評価し、自身の能力を反復的に洗練する自己改善への関心が高まっている。 本稿では,自己改善言語モデルに対するシステムレベルの視点を示し,既存の手法を体系化する統一フレームワークを提案する。 データ取得、データ選択、モデル最適化、推論改善の4つの密結合プロセスと自律的な評価層からなる閉ループライフサイクルとして自己改善システムを概念化する。 このフレームワーク内では、データ収集や生成、情報信号の選択、パラメータの更新、出力の精製といった、各ステージを駆動する上で、モデル自体が中心的な役割を果たす。 このライフサイクルの観点から、各コンポーネントの代表的メソッドを技術的観点から体系的にレビューし、分析する。 我々はさらに、現在の限界について論じ、完全な自己改善 LLM に向けた今後の研究の展望を概説する。

関連論文リスト

• A Survey of World Models for Autonomous Driving [55.520179689933904]
  自律運転の最近の進歩は、堅牢な世界モデリングの進歩によって推進されている。 世界モデルは、マルチセンサーデータ、セマンティックキュー、時間ダイナミクスを統合する駆動環境の高忠実度表現を提供する。 今後の研究は、自己指導型表現学習、マルチモーダル融合、高度なシミュレーションにおける重要な課題に対処する必要がある。
  論文  参考訳（メタデータ） (2025-01-20T04:00:02Z)
• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。