論文の概要: Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models

• arxiv url: http://arxiv.org/abs/2412.02674v2
• Date: Tue, 25 Feb 2025 16:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:19:44.500311
• Title: Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models
• Title（参考訳）: Mind the Gap: 大規模言語モデルの自己改善能力の検討
• Authors: Yuda Song, Hanlin Zhang, Carson Eisenach, Sham Kakade, Dean Foster, Udaya Ghai,
• Abstract要約: 自己改善は、Large Language Model(LLM)の事前トレーニング、ポストトレーニング、テストタイム推論におけるメカニズムである。 本稿では,自己改善のための数学的定式化について述べる。 また、自己改善がいつ可能か、反復的な自己改善手順、その性能改善方法についても検討する。
• 参考スコア（独自算出の注目度）: 10.449015816015566
• License:
• Abstract: Self-improvement is a mechanism in Large Language Model (LLM) pre-training, post-training and test-time inference. We explore a framework where the model verifies its own outputs, filters or reweights data based on this verification, and distills the filtered data. Despite several empirical successes, a fundamental understanding is still lacking. In this work, we initiate a comprehensive, modular and controlled study on LLM self-improvement. We provide a mathematical formulation for self-improvement, which is largely governed by a quantity which we formalize as the generation-verification gap. Through experiments with various model families and tasks, we discover a scaling phenomenon of self-improvement -- a variant of the generation-verification gap scales monotonically with the model pre-training flops. We also examine when self-improvement is possible, an iterative self-improvement procedure, and ways to improve its performance. Our findings not only advance understanding of LLM self-improvement with practical implications, but also open numerous avenues for future research into its capabilities and boundaries.
• Abstract（参考訳）: 自己改善は、Large Language Model(LLM)の事前トレーニング、ポストトレーニング、テストタイム推論におけるメカニズムである。 この検証に基づいて、モデルが独自の出力、フィルタ、再重み付けデータを検証し、フィルタしたデータを蒸留するフレームワークを探索する。 いくつかの経験的な成功にもかかわらず、根本的な理解は依然として欠如している。 本研究では, LLM自己改善に関する総合的, モジュール的, 制御された研究を開始する。 本稿では,自己改善のための数学的定式化について述べる。 様々なモデルファミリとタスクによる実験により、自己改善のスケーリング現象が発見され、モデル事前学習フロップとモノトニックにスケールする生成検証ギャップの変種である。 また、自己改善がいつ可能か、反復的な自己改善手順、その性能改善方法についても検討する。 本研究の成果は, LLM自己改善の実践的意味だけでなく, その能力と限界に関する今後の研究にも多くの道を開くことであった。

関連論文リスト

• ReVISE: Learning to Refine at Test-Time via Intrinsic Self-Verification [53.80183105328448]
  Refine via Intrinsic Self-Verification (ReVISE)は、LLMが自己検証を通じてアウトプットを自己修正できる効率的なフレームワークである。 様々な推論タスクに関する実験により、ReVISEは効率的な自己補正を実現し、推論性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-02-20T13:50:02Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Iterative Deepening Sampling for Large Language Models [27.807695570974644]
  効果的な自己補正と自己補正を実現するためのトレーニングモデルは、依然として重要な課題である。 自己補正の強化と高品質なサンプル生成を目的とした,新しい反復サンプリングアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-08T04:39:51Z)
• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Can I understand what I create? Self-Knowledge Evaluation of Large Language Models [31.85129258347539]
  大規模言語モデル(LLM)は言語タスクにおいて顕著な進歩を遂げた。 フェインマンの創造を通して理解する原理に触発され、自己知識評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-10T09:53:54Z)
• LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
  大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。 この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。 モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
  論文  参考訳（メタデータ） (2024-05-15T13:35:43Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。