論文の概要: Deep Improvement Supervision

• arxiv url: http://arxiv.org/abs/2511.16886v1
• Date: Fri, 21 Nov 2025 01:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:18.857364
• Title: Deep Improvement Supervision
• Title（参考訳）: 深部改良の展望
• Authors: Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac,
• Abstract要約: Tiny Recursive Models (TRM) は、複雑な推論タスクにおいて、Large Language Models (LLM) よりも優れている。 そこで本研究では,学習中の各ループを対象とする新たな学習手法を提案する。 提案手法は,標準TRMに匹敵する品質を維持しつつ,フォワードパスの総数を18倍に減らし,停止機構をなくす。
• 参考スコア（独自算出の注目度）: 6.836311166467563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, it was shown that small, looped architectures, such as Tiny Recursive Models (TRMs), can outperform Large Language Models (LLMs) on complex reasoning tasks, including the Abstraction and Reasoning Corpus (ARC). In this work, we investigate a core question: how can we further improve the efficiency of these methods with minimal changes? To address this, we frame the latent reasoning of TRMs as a form of classifier-free guidance and implicit policy improvement algorithm. Building on these insights, we propose a novel training scheme that provides a target for each loop during training. We demonstrate that our approach significantly enhances training efficiency. Our method reduces the total number of forward passes by 18x and eliminates halting mechanisms, while maintaining quality comparable to standard TRMs. Notably, we achieve 24% accuracy on ARC-1 with only 0.8M parameters, outperforming most LLMs.
• Abstract（参考訳）: 近年,Tiny Recursive Models (TRMs) のようなループ型アーキテクチャは,抽象・推論コーパス (ARC) などの複雑な推論タスクにおいて,Large Language Models (LLMs) よりも優れていることが示されている。 そこで本研究では,最小限の変更を伴って,これらの手法の効率をさらに向上する方法について検討する。 そこで本研究では,RTMの潜在的推論を,分類器レスガイダンスと暗黙的なポリシー改善アルゴリズムの一形態として定式化する。 これらの知見に基づいて、トレーニング中の各ループのターゲットを提供する新しいトレーニングスキームを提案する。 我々は,本手法がトレーニング効率を大幅に向上させることを示した。 提案手法は,標準TRMに匹敵する品質を維持しつつ,フォワードパスの総数を18倍に減らし,停止機構をなくす。 特に, ARC-1 では 0.8M のパラメータで 24% の精度を達成し, ほとんどの LLM よりも優れていた。

関連論文リスト

• Efficient Reasoning via Reward Model [24.105621725286497]
  検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)の推論能力を高めることが示されている。 DeepSeek-R1 や OpenAI o1 のような LRM は、過剰または無関係な推論ステップを含む冗長な応答をしばしば生成する。 本稿では,結果報酬と簡潔度スコアとの間に明確な依存性を有する,CRF(Conciseness Reward Function)という新たな報酬定式化を導入する。
  論文  参考訳（メタデータ） (2025-11-12T09:51:07Z)
• Good Learners Think Their Thinking: Generative PRM Makes Large Reasoning Model More Efficient Math Learner [31.033131727230277]
  大規模推論モデル(LRM)は、Reinforcement Learning (RL) で最適化された複雑な数学問題の解法において、最近約束されている。 本稿では,RLに基づく学習における大きなボトルネックに対処するため,思考レベルで機能する固有信号駆動型生成過程評価機構を提案する。 1.5B と 7B のパラメータ LRM を用いた実験により,結果のみの報酬ベースラインよりもトレーニングサンプルが有意に少ない問題解精度が得られた。
  論文  参考訳（メタデータ） (2025-07-31T07:54:58Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Walk Before You Run! Concise LLM Reasoning via Reinforcement Learning [10.255235456427037]
  大規模言語モデル(LLM)における簡潔推論を実現するための簡易かつ効果的な2段階強化学習フレームワークを提案する。 最初の段階は、より多くのトレーニングステップを使用して、グループ相対ポリシー最適化を通じてモデルの推論能力をインセンティブ化することを目的としています。 第2段階は、より少ないトレーニングステップを使用して、簡潔さを明示的に実施し、Longth-aware Group Relative Policy Optimizationを通じて効率を向上させる。
  論文  参考訳（メタデータ） (2025-05-27T13:29:51Z)
• Token-Efficient RL for LLM Reasoning [0.02488650627593658]
  本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。 ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。 提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
  論文  参考訳（メタデータ） (2025-04-29T14:58:43Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• Sci-CoT: Leveraging Large Language Models for Enhanced Knowledge Distillation in Small Models for Scientific QA [5.117094291273979]
  大規模言語モデル(LLM)は、幅広い下流タスクで優れたパフォーマンスを示している。 本稿では2段階のフレームワークであるSci-CoTを提案する。 我々の8000万のパラメータモデルは、いくつかのショット設定の下でARC-EasyデータセットにおけるBLOOM-176Bの性能を上回ることができる。
  論文  参考訳（メタデータ） (2023-08-09T03:18:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。