論文の概要: CURIO: Curiosity-Driven Test-Time Learning for Open-Ended Discovery

• arxiv url: http://arxiv.org/abs/2610.04851v1
• Date: Sun, 04 Oct 2026 01:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:24:58.888255
• Title: CURIO: Curiosity-Driven Test-Time Learning for Open-Ended Discovery
• Title（参考訳）: CURIO: オープンソースディスカバリのための好奇心駆動型テストタイムラーニング
• Abstract要約: Intrinsic Curiosity World Modelでタスクフィードバックを補完する好奇心駆動型テストタイム学習フレームワークを導入する。 相対利得はアダマールで18.3%、スコアで10.8%に達した。 コードダイバーシティ測定は、生成されたプログラム間でより大きな構造変化を示す。
• 参考スコア（独自算出の注目度）: 37.03322195455502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-ended discovery requires learning from repeated attempts while continuing to explore directions whose value is not yet apparent. Search with a frozen large language model (LLM) can reuse previous solutions in context, but cannot update the model from its successes and failures on the test problem. Reinforcement learning (RL) enables such adaptation; however, strongly favoring high-reward trajectories may suppress low-reward yet potentially promising directions too early. We introduce CURIO, a curiosity-driven test-time learning framework that complements task feedback with an Intrinsic Curiosity World Model (ICWM). The ICWM learns transitions in the policy's hidden-state representation and supplies prediction-error bonuses at sampled tokens outside the policy's top-k choices. Epoch normalization and an annealed weight regulate their contribution to the policy update. On six mathematical discovery tasks and single-cell denoising with Qwen3 backbones from 8B to 235B, three-run means improve over a matched task-only RL control on five mathematical objectives, match the best reported performance on Circle Packing, and improve denoising Score and mean squared error (MSE) on both held-out corpora at every tested scale. Relative gains reach 18.3% on Hadamard and 10.8% on denoising Score. Code-diversity measurements show greater structural variation among generated programs, supporting curiosity as a complementary exploration signal for learning in open-ended discovery.
• Abstract（参考訳）: オープンエンドな発見には、繰り返しの試みから学びながら、まだ価値が明らかでない方向を探索することが必要である。 凍結した大言語モデル(LLM)による検索は、コンテキスト内で以前のソリューションを再利用することができるが、テスト上の成功と失敗からモデルを更新することはできない。 強化学習(Reinforcement Learning, RL)は、そのような適応を可能にするが、高次軌道を強く好むと、低次かつ有望な方向が早すぎる可能性がある。 CURIOは好奇心駆動型テストタイム学習フレームワークで,本質的好奇心世界モデル(ICWM)を用いてタスクフィードバックを補完する。 ICWMは、ポリシーの隠された状態表現の遷移を学習し、ポリシーのトップk選択外のサンプルトークンで予測エラーボーナスを提供する。 エポックの正規化と加熱重量は、政策更新への貢献を規制する。 6つの数学的な発見タスクとQwen3のバックボーンを8Bから235Bに分解するシングルセルでは、3ランは5つの数学的目的に対して一致したタスクのみのRL制御よりも改善され、サークルパッキングにおける最高の報告性能と一致し、各テストスケールで両方のホールドアウトコーパスでスコアと平均2乗誤差(MSE)を改善する。 相対利得はアダマールで18.3%、スコアで10.8%に達した。 コード多様性の測定は、生成プログラム間の構造的変化が大きく、オープンエンド発見における学習の補完的な探索信号として好奇性をサポートする。

関連論文リスト

• RISE-RL: Rubric-Informed Selective Exploration for Open-Ended Reinforcement Learning [31.35146691876858]
  我々は、繰り返し欠落したルーブリック基準を用いて特権トラジェクトリを誘導する、$textbfRISE-RL$(Rubric-Informed Selective Exploration)を提案する。 RISE-RLは、完全なルーブリックな報酬が自然なロールアウトの平均的な報酬を超える軌道のみを保持する。 4Bスケールで1.3ポイント、14Bスケールで$textbf3.3ポイント、CreativeWriting-V3で$textbf6.0-point$ゲインを含む平均スコアを改善する。
  論文  参考訳（メタデータ） (2026-08-10T05:02:28Z)
• UpSkill: Mutual Information Skill Learning for Structured Response Diversity in LLMs [28.526758776988256]
  本稿では,相互情報スキル学習を大規模言語モデルに適用する訓練時間手法であるUpSkillを紹介する。 以上の結果から,UpSkillはより強力なベースモデル上でのマルチタスクのメトリクスを改善することを示す。 pass@kの改善が相互情報目的と密接に結びついているという実証的証拠と理論的証拠の両方を見いだす。
  論文  参考訳（メタデータ） (2026-02-25T15:34:14Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Anomalous Decision Discovery using Inverse Reinforcement Learning [3.3675535571071746]
  異常検出は、知覚システムを通じて異常な行動を特定することによって、自律走行車(AV)において重要な役割を果たす。 現在のアプローチは、しばしば定義済みのしきい値や教師付き学習パラダイムに依存するが、目に見えないシナリオに直面すると効果が低下する。 異常検出のための新しいIRLフレームワークである Trajectory-Reward Guided Adaptive Pre-training (TRAP) を提案する。
  論文  参考訳（メタデータ） (2025-07-06T17:01:02Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。