論文の概要: STRETCH the Boundaries: A Unified Self-Taught Framework for Progressive LLM Evolution
- arxiv url: http://arxiv.org/abs/2609.18642v1
- Date: Wed, 16 Sep 2026 13:27:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.819292
- Title: STRETCH the Boundaries: A Unified Self-Taught Framework for Progressive LLM Evolution
- Title(参考訳): STRETCH the boundaries: 進歩的LLM進化のための統一的な自己学習フレームワーク
- Abstract要約: 大規模言語モデル(LLM)は、自己改善トレーニングにおいて能力の停滞に悩まされることが多い。
本稿では,認知的足場理論に触発された統合フレームワークSTRETCH(Self-Taught Reasoning Evolution via Targeted CHallenge)を提案する。
- 参考スコア(独自算出の注目度): 5.942312351575627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) often suffer from capability stagnation in self-improvement training because fixed difficulty levels fail to adapt to their evolving proficiency. To address this issue, we propose STRETCH (Self-Taught Reasoning Evolution via Targeted CHallenge), a unified framework inspired by cognitive scaffolding theory. STRETCH introduces a dynamic Stretch Zone mechanism that continuously aligns question difficulty with the model's solving capability. Within a single parameter space, the model alternates between a Scaffolder that generates adaptive, boundary-pushing challenges and a Learner that that optimizes its solving trajectories through reinforcement learning. This dual-loop co-evolution effectively stabilizes training, mitigates reward hacking and promote progressive reasoning growth. Experiments on both negotiation and operation research benchmarks demonstrate that STRETCH consistently outperforms strong prompting and domain-specific baselines. Further scaffolder configuration analysis shows that dynamic difficulty alignment is critical for sustained capability improvement and synchronized reasoning evolution.
- Abstract(参考訳): 大きな言語モデル(LLM)は、しばしば自己改善トレーニングにおいて能力の停滞に悩まされる。
この問題に対処するために,認知的足場理論に触発された統合フレームワークSTRETCH(Self-Taught Reasoning Evolution via Targeted CHallenge)を提案する。
STRETCHは動的ストレッチゾーン機構を導入し、モデルの問題解決能力と質問の難しさを継続的に整合させる。
単一のパラメータ空間内では、適応的で境界整合性の課題を生成するScaffolderと、強化学習を通じてその解決軌道を最適化するLearnerを交互に扱う。
このデュアルループの共進化は、トレーニングを効果的に安定化させ、報酬のハッキングを緩和し、進歩的推論の成長を促進する。
ネゴシエーションとオペレーショナルリサーチベンチマークの実験は、STRETCHが強いプロンプトとドメイン固有のベースラインを一貫して上回っていることを示している。
さらなるスキャフォールダ構成分析により、持続的能力向上と同期推論の進化に動的難易度アライメントが重要であることが示された。
関連論文リスト
- AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳(メタデータ) (2026-05-25T08:26:34Z) - RISE: Reliable Improvement in Self-Evolving Vision-Language Models [22.16641554921884]
視覚言語モデル(VLM)は強力なマルチモーダル推論機能を実現している。
VLMは依然として、ポストトレーニングのための大規模な人為的な監督に大きく依存している。
視覚言語モデルのための信頼性の高い自己進化フレームワークである textbfRISE を提案する。
論文 参考訳(メタデータ) (2026-05-20T08:57:57Z) - Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。
SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。
ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-05-18T10:05:21Z) - DIMoE-Adapters: Dynamic Expert Evolution for Continual Learning in Vision-Language Models [63.58458696122293]
継続的な学習は、視覚言語モデルが知識を蓄積し、スクラッチから再トレーニングすることなく、進化するタスクに適応することを可能にする。
既存のほとんどのメソッドは、静的に割り当てられたパラメータを持つ固定されたアーキテクチャに依存しており、新しいドメインへの適応を制限し、破滅的な忘れを増す。
動的インクリメンタル・ミックス・オブ・エキスパート・アダプタ・フレームワークであるDIMoE-Adaptersを提案する。
論文 参考訳(メタデータ) (2026-05-08T09:32:05Z) - Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。
SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文 参考訳(メタデータ) (2025-09-20T17:09:14Z) - VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning [69.44871115752055]
本稿では,PCuRL(Progressive Curriculum Reinforcement Learning)フレームワークを用いて学習した高度なマルチモーダル推論モデルを提案する。
PCuRLは、難易度が徐々に増大するタスクを通じてモデルを体系的にガイドし、多様なマルチモーダルコンテキストにおける推論能力を大幅に向上させる。
本フレームワークは,(1)連続するRLトレーニング段階におけるトレーニング難度を動的に調整するオンライン難易度重み付け機構,(2)タスク複雑度に応じて推論経路長を適応的に調整する動的長報奨機構,の2つの重要なイノベーションを紹介する。
論文 参考訳(メタデータ) (2025-07-30T12:23:21Z) - Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。
専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。
我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
論文 参考訳(メタデータ) (2025-05-27T04:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。