論文の概要: Self-discovering RL in the Era of Experience: Is Learning History an Asset or a Burden?
- arxiv url: http://arxiv.org/abs/2609.35897v1
- Date: Sun, 27 Sep 2026 20:56:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.883011
- Title: Self-discovering RL in the Era of Experience: Is Learning History an Asset or a Burden?
- Title（参考訳）: 経験の時代における自己発見的RL:学習履歴はアセットかバーデンか?
- Abstract要約: 自己発見RL則の初回因果メカニスティック監査を行う。
歴史の学習が資産や重荷として働く場合をテストする。
この研究はマイクロレベルの学習力学におけるマクロRSIの野望を基礎にしている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pursuit of recursive self-improvement (RSI) toward general intelligence is divided between macro-level language model scaling and the interaction-driven principles of "Era of Experience". Yet, any self-improving architecture ultimately rests upon its underlying optimization engine: if general intelligence requires learning from grounded interaction, the reinforcement learning (RL) update rule itself must be capable of cumulative adaptation. While algorithm self-discovery has produced Disco103 that surpassed PPO to achieve SOTA benchmark performance -- its internal update machinery remains an uninspected black box. We present the first causal mechanistic audit of a self-discovered RL rule, structured directly around the five pillars of the Era of Experience: extended horizon, grounded reward scales, continuing streams, within-lifetime change, and exploration depth. By surgically pinning, freezing, and transplanting recurrent states while holding meta-parameters fixed, we test when learning history acts as an asset or a burden. Three findings organize the audit: (1) Recurrent history actively expands usable reward scales, sustaining a six-decade window versus three under zero-pinning. (2) Decoupling historical content from its maintenance reveals that the penalty of mismatched history stems from perpetual clamping; allowing imported state to evolve naturally attenuates this burden. (3) Under environmental change, controlling replay retention reverses the apparent adaptation advantage over DQN, demonstrating that external data turnover can confound internal plasticity. Validated through capability thresholds and ported to a second rule (OPEN), this work grounds macro-RSI ambitions in micro-level learning dynamics, establishing a foundational audit standard for next-generation, self-evolving RL algorithms.
- Abstract（参考訳）: 一般知性への再帰的自己改善(RSI)の追求は、マクロレベルの言語モデルスケーリングと、"経験のエラ(Era of Experience)"の相互作用駆動の原則に分けられる。
しかし、いずれの自己改善アーキテクチャも、その基盤となる最適化エンジンに依存している: 一般知能が基礎的な相互作用から学習を必要とする場合、強化学習(RL)更新ルール自体が累積適応可能である必要がある。
アルゴリズムの自己発見は、SOTAベンチマークのパフォーマンスを達成するためにPPOを上回ったDisco103を作成した。
経験の時代における5つの柱(地平線, 地平線, 地平線, 地平線, 流れの継続, ライフタイム内変化, 探査深度)を直接的に構成した自己発見RL則に関する最初の因果的力学検査を行った。
メタパラメータを固定したまま再発状態を外科的に固定し,凍結し,移植することにより,学習履歴が資産や重荷として働く場合をテストする。
1)リカレント・ヒストリーは, 有効報酬尺度を積極的に拡張し, ゼロピンニングの3つに対して6年窓を維持した。
2) 歴史的コンテンツをメンテナンスから切り離すことで, ミスマッチした歴史の刑罰は永遠のクランプによるものであり, 輸入国が自然にこの負担を軽減できることが明らかとなった。
3) 環境変化下では, 再生保持の制御はDQNに対する明らかな適応の優位性を逆転させ, 外部データの回転が内部の可塑性を損なうことを示した。
この研究は能力閾値を通じて検証され、第2のルール(OPEN)に移植され、マイクロレベルの学習力学におけるマクロRSIの野望の基礎となり、次世代の自己進化型RLアルゴリズムの基本的な監査標準を確立した。
関連論文リスト
- SoftModel: A Neural Model That Grows Its Own Topology -- Governed Structural Growth for Continual In-Service Learning [0.0]
私たちは、逆の前提を公理と捉え、生涯学習者が必要とするガバナンスを導出します。
設計対象体制は継続的、サービス内学習である。
完全なオフスクラッチシステムは、口座全体を実現する。
論文 参考訳（メタデータ） (2026-08-17T11:03:51Z) - From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement [56.26277769790695]
RLVR(Reinforcement Learning with Verifiable Rewards)は、推論指向の大規模言語モデル(LLM)の最近の進歩を推進している。
本稿では、RLVRをオープンなタスクに拡張するためのタスク変換に基づくトレーニングパラダイムであるRLSVR(Reinforcement Learning with Self-Verifiable Rewards)を提案する。
ソーシャルデダクションゲームにインスパイアされた自己PlaY強化学習手法SpyRLでRTSVRをインスタンス化する。
論文 参考訳（メタデータ） (2026-07-26T19:04:33Z) - Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops [7.159691098846351]
この文学は、根本的に異なる野望を混同した語彙(セルフ・リファイン(self-refine)、「セルフ・リワード(self-reward)」、「セルフ・プレイ(self-play)」、「セルフ・エボレーヴ(self-evolve)」(self-evolve))で説明される。
我々は,2つの軸に沿って1,250のarXiv論文を調査した。
論文 参考訳（メタデータ） (2026-07-08T17:19:50Z) - Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation [0.0]
強化学習(Reinforcement Learning)は、環境フィードバックを用いて大規模言語モデルを訓練するために一般的に用いられる。
トレーニングフレームワークであるセルフレビュー強化学習を導入し、各RLエピソードに明確な自己レビューステップを組み込む。
ファーストパス応答が失敗すると、モデルが自己レビューを生成して、何がうまくいかなかったかを識別する。
論文 参考訳（メタデータ） (2026-07-06T18:24:16Z) - From Perception to Planning: Evolving Ego-Centric Task-Oriented Spatiotemporal Reasoning via Curriculum Learning [79.65573577667944]
タスクベースの時間的推論を学習するためのカリキュラムベースのフレームワークであるEgoTSRを提案する。
EgoTSRは、明示的な空間的理解からタスク状態評価への進化を前提に構築されている。
実験により、EgoTSRはバイアスを効果的に排除し、長距離論理推論タスクにおいて92.4%の精度を達成した。
論文 参考訳（メタデータ） (2026-04-12T08:14:49Z) - RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。
実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
論文 参考訳（メタデータ） (2026-03-09T16:23:33Z) - Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.778703252962092]
大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。
外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
論文 参考訳（メタデータ） (2025-10-20T07:53:51Z) - Building Self-Evolving Agents via Experience-Driven Lifelong Learning: A Framework and Benchmark [57.59000694149105]
本稿では、自己進化エージェントを構築するためのフレームワークである、経験駆動型生涯学習(ELL)を紹介する。
ELLは、Experience Exploration、Long-term Memory、Skill Learning、Knowledge Internalizationの4つのコア原則に基づいて構築されている。
また、学生の総合的な大学旅行をシミュレートするELLのベンチマークデータセットであるStuLifeを紹介した。
論文 参考訳（メタデータ） (2025-08-26T13:04:28Z) - UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。
UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
論文 参考訳（メタデータ） (2025-05-21T15:53:28Z) - Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。
我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。
我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
論文 参考訳（メタデータ） (2025-05-15T17:58:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。