論文の概要: DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution
- arxiv url: http://arxiv.org/abs/2608.12486v1
- Date: Wed, 12 Aug 2026 18:06:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.301246
- Title: DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution
- Title（参考訳）: DIVE: 多様性駆動のスキル進化を通じて、凍結言語モデルの自己改善を解き放つ
- Abstract要約: 大規模言語モデル(LLM)は、パラメーター更新なしでは、デプロイ後のエクスペリエンスを維持することができない。
課題経験や検証者からのフィードバックを進化させることで、凍結LDMの改善を可能にする多様性駆動型フレームワークであるDIVEを紹介した。
- 参考スコア（独自算出の注目度）: 30.082997083095847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) cannot retain post-deployment experience without parameter updates. We introduce DIVE, a diversity-driven framework that enables frozen LLMs to improve by evolving persistent natural-language skills from task experience and verifier feedback. These skills encode reusable reasoning procedures, verification strategies, common failure modes, and output constraints and are both executed and revised by the same underlying model without access to a teacher model. Since natural-language skill evolution is a stochastic, non-convex search process, optimizing a single skill trajectory can overfit to sampled experience or converge to a suboptimal solution. DIVE mitigates this optimization variance by independently evolving multiple skill populations from bootstrapped experience, adaptively refining them through diverse transformations, and jointly selecting a complementary set of skills. Across six mathematical and logical reasoning tasks and multiple model families, DIVE consistently outperforms existing reasoning methods, prompt-optimization approaches, skill-development frameworks, and memory-based baselines. It achieves rapid self-improvement from accumulated experience, obtaining substantially larger performance gains with fewer rollouts than parameter-based methods such as SFT and GRPO, and prompt optimization with GEPA. Further, the resulting skills transfer across model scales and families, enabling smaller models such as GPT-5-nano to match or outperform larger counterparts, i.e., GPT-5, under conventional prompting. These results establish diversity-driven skill evolution as an effective, interpretable, and parameter-free approach to LLM self-improvement.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、パラメーター更新なしでは、デプロイ後のエクスペリエンスを維持することができない。
課題経験と検証者フィードバックから永続的な自然言語スキルを進化させることにより、凍結LDMの改善を可能にする多様性駆動型フレームワークであるDIVEを紹介する。
これらのスキルは、再利用可能な推論手順、検証戦略、共通障害モード、出力制約を符号化し、教師モデルにアクセスすることなく、同じ基礎モデルによって実行および修正される。
自然言語スキルの進化は確率的かつ非凸な探索プロセスであるため、単一のスキル軌跡を最適化することは、サンプル化された経験に過度に適合するか、あるいは準最適解に収束する。
DIVEは、ブートストラップされた経験から独立して複数のスキル集団を進化させ、様々な変換を通じてそれらを適応的に精製し、補完的なスキルセットを共同で選択することで、この最適化の分散を緩和する。
6つの数学的および論理的推論タスクと複数のモデルファミリーにまたがって、DIVEは既存の推論手法、プロンプト最適化アプローチ、スキル開発フレームワーク、メモリベースのベースラインを一貫して上回っている。
蓄積された経験から迅速な自己改善を実現し、SFTやGRPOといったパラメータベースの手法よりもロールアウトが少なく、大幅なパフォーマンス向上を実現し、GEPAによる迅速な最適化を実現している。
さらに、モデルスケールや家族間でのスキルの伝達により、GPT-5-nanoのようなより小さなモデルでは、従来のプロンプトの下で、より大きなモデル、すなわちGPT-5をマッチまたは上回ることができる。
これらの結果は、LLM自己改善に対する効果的で、解釈可能で、パラメータフリーなアプローチとして、多様性駆動型スキル進化を確立している。
関連論文リスト
- Self-Evolving Embodied Agents via Skill-Harness Evolution [53.307052568223945]
身体的エージェントは、ファンデーションモデルを中心としたシステムとして、ますます構築されている。
教師付き微調整と強化学習はエージェントを新しい環境に適応させることができるが、追加のデータ、報酬、トレーニングの実行が必要である。
SHAPERは,モデルパラメータの凍結を保ちつつ,列車不要な態様適応のための自己進化型フレームワークである。
論文 参考訳（メタデータ） (2026-08-11T18:55:58Z) - Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。
5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-08-03T12:27:32Z) - Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting [20.811638832981178]
大規模言語モデル(LLM)エージェントは、過去のインタラクションからの経験を蓄積し再利用する必要がある。
データ駆動のスキル最適化は、実際の環境から収集された限られた軌道に過度に適合する傾向がある。
リスクを緩和する3段階フレームワークであるSkillBoostを提案する。
論文 参考訳（メタデータ） (2026-07-29T09:05:40Z) - Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。
オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
論文 参考訳（メタデータ） (2026-05-10T06:19:15Z) - DIMoE-Adapters: Dynamic Expert Evolution for Continual Learning in Vision-Language Models [63.58458696122293]
継続的な学習は、視覚言語モデルが知識を蓄積し、スクラッチから再トレーニングすることなく、進化するタスクに適応することを可能にする。
既存のほとんどのメソッドは、静的に割り当てられたパラメータを持つ固定されたアーキテクチャに依存しており、新しいドメインへの適応を制限し、破滅的な忘れを増す。
動的インクリメンタル・ミックス・オブ・エキスパート・アダプタ・フレームワークであるDIMoE-Adaptersを提案する。
論文 参考訳（メタデータ） (2026-05-08T09:32:05Z) - Skills-Coach: A Self-Evolving Skill Optimizer via Training-Free GRPO [31.696187731033334]
Skills-Coachは、LLM(Large Language Model)ベースのエージェント内でのスキルの自己進化を促進するために設計された自動化フレームワークである。
フレームワークは4つのコアモジュールで構成されている: 様々なスキルのための包括的なテストスイートを作成する横タスク生成モジュール、スキルプロンプトとその対応するコードの最適化専用の軽量最適化モジュール。
有効性を検証するために,48の多様なスキルからなる総合ベンチマークデータセットであるSkill-Xを紹介する。
論文 参考訳（メタデータ） (2026-04-30T06:39:37Z) - Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。
DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。
理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
論文 参考訳（メタデータ） (2025-05-05T23:54:53Z) - Improving Retrospective Language Agents via Joint Policy Gradient Optimization [57.35348425288859]
RetroActは、言語エージェントのタスク計画と自己反射進化機能を共同で最適化するフレームワークである。
模倣学習と強化学習を統合した2段階共同最適化プロセスを開発した。
RetroActはタスクのパフォーマンスと意思決定プロセスを大幅に改善しています。
論文 参考訳（メタデータ） (2025-03-03T12:54:54Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。