論文の概要: Compositional Self-Improvement: Promises and Pitfalls

• arxiv url: http://arxiv.org/abs/2611.00452v1
• Date: Fri, 30 Oct 2026 23:09:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:15:35.201819
• Title: Compositional Self-Improvement: Promises and Pitfalls
• Title（参考訳）: 構成的自己改善: 約束と落とし穴
• Abstract要約: 構成的自己改善が自己改善をサポートする時期と失敗時期について検討する。 実験では、信頼できないサブプロブレム予測、構成によるエラー、限られた監視範囲の3つの障害モードを特定した。 これらの知見は,構成的自己改善がモデル機能の拡張に十分な信頼性を付与できる場合に特徴付けられる。
• 参考スコア（独自算出の注目度）: 21.4782618971799
• License:
• Abstract: Although self-improvement is becoming increasingly important as tasks become more complex, models struggle to generate reliable supervision for harder, out-of-distribution instances. One way to address this challenge is to exploit compositional structure: models often solve simpler subproblems more reliably than full problems, so their subproblem predictions can be composed into supervision for harder ones. We systematically study when this kind of composed supervision supports self-improvement and when it fails. Our controlled experiments identify three failure modes: unreliable subproblem predictions, errors introduced by composition, and limited supervision coverage. Beyond controlled settings, these findings carry over to more realistic coding and reasoning tasks: composed labels are more accurate than direct self-generated labels and improve performance even on compositions longer than those seen during training, while the failure modes remain visible. Further, although these failure modes often keep compositional self-improvement from fully succeeding on its own, a short SFT warmup with compositional self-improvement can bootstrap reinforcement learning on tasks that require composing skills the model already has, particularly when direct exploration rarely succeeds. Together, these findings characterize when compositional self-improvement can provide sufficiently reliable supervision to expand model capabilities.
• Abstract（参考訳）: タスクが複雑化するにつれて、自己改善はますます重要になってきていますが、モデルはより難しい配布インスタンスのために信頼できる監視を生成するのに苦労しています。 モデルはしばしば、完全な問題よりもより単純なサブプロブレムを確実に解決するので、それらのサブプロブレム予測は、より難しい部分の監視に構成することができる。 このような構成的監督が自己改善を支援し、いつ失敗するかを体系的に研究する。 制御された実験では、信頼できないサブプロブレム予測、構成によるエラー、限られた監視範囲の3つの障害モードを特定した。 構成ラベルは直接の自己生成ラベルよりも正確で、トレーニング中に見られるものよりも長い構成でもパフォーマンスが向上します。 さらに、これらの障害モードは、構成的自己改善が完全に成功するのを防ぐことが多いが、構成的自己改善を伴う短いSFTウォームアップは、モデルがすでに持っている構成スキルを必要とするタスク、特に直接探索がほとんど成功しないタスクについて強化学習をブートストラップすることができる。 これらの知見は,構成的自己改善がモデル能力を拡張するための十分な信頼性のある監視を提供する場合に特徴付けられる。

関連論文リスト

• Position: It's Time to Optimize LLMs for Self-Consistency [50.68587056599734]
  多くの重要な障害は、事前および後トレーニングパイプラインの言語モデルに持続する。 これらの失敗は、パイプラインのすべての側面に浸透するモデリングの前提から生じます。 これらの失敗を理解するためのフレームワークとして,自己整合性を提案する。
  論文  参考訳（メタデータ） (2026-07-31T19:16:53Z)
• From Knowing to Doing Precisely: A General Self-Correction and Termination Framework for VLA models [42.553888395227766]
  本稿では、視覚言語アクション(VLA)モデルのための軽量でトレーニング不要なフレームワークを提案する。 VLA-SCTは自己修正制御ループとして動作し、データ駆動型アクションリファインメントと条件論理を組み合わせて終了する。 本手法は,LIBEROベンチマークのすべてのデータセットに対して一貫した改善を実現する。
  論文  参考訳（メタデータ） (2026-02-02T08:44:40Z)
• Sequence of Expert: Boosting Imitation Planners for Autonomous Driving through Temporal Alternation [12.450883696383878]
  イミテーション・ラーニング (IL) は自動運転における中心的なパラダイムとして浮上している。 ILは、ステップごとの予測エラーを最小限にすることで、オープンループ設定で専門家の振る舞いにマッチする。 連続した計画サイクルでは、小さな、しばしば受け入れがたいエラーが複雑になり、深刻な失敗をもたらす可能性がある。 本稿では,モデルサイズやデータ要求を増大させることなくクローズドループ性能を向上させるために,エキスパートシーケンス(SoE)を提案する。
  論文  参考訳（メタデータ） (2025-12-15T08:50:23Z)
• Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.778703252962092]
  大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。 外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
  論文  参考訳（メタデータ） (2025-10-20T07:53:51Z)
• Tady: A Neural Disassembler without Structural Constraint Violations [14.794789423601552]
  改良されたモデルアーキテクチャと専用の後処理アルゴリズムを備えたニューラルディスアセンブラであるTadyを紹介する。 そこで,Tadyは命令レベルの精度を維持しつつ,構造的制約違反や関数を高い効率で効果的に除去することを示した。
  論文  参考訳（メタデータ） (2025-06-16T10:11:43Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• Guiding Through Complexity: What Makes Good Supervision for Hard Math Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
  本研究では、しばしば使われない補助的監督源である言語の使用について検討する。 近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。 さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
  論文  参考訳（メタデータ） (2023-06-21T20:47:23Z)
• Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales [53.55369862746357]
  自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。 しかし、その再識別精度は、監督対象よりも低い。 本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
  論文  参考訳（メタデータ） (2023-04-25T20:47:29Z)
• Consistency is the key to further mitigating catastrophic forgetting in continual learning [14.674494335647841]
  Experience Replay (ER) は低バッファ状態と長いタスクシーケンスではうまく動作しない。 ソフトターゲットの予測における一貫性は、ERが以前のタスクに関連する情報を保存するのに役立つ。 自己教師付きプレテキストタスクとして整合性正規化をキャストすることを提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。