論文の概要: LoopUS: Recasting Pretrained LLMs into Looped Latent Refinement Models

• arxiv url: http://arxiv.org/abs/2605.11011v1
• Date: Sun, 10 May 2026 11:05:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.299273
• Title: LoopUS: Recasting Pretrained LLMs into Looped Latent Refinement Models
• Title（参考訳）: Loopus: トレーニング済みのLLMをループ化潜在リファインメントモデルにリキャスト
• Authors: Taekhyun Park, Yongjae Lee, Dohee Kim, Hyerim Bae,
• Abstract要約: 我々は、標準の事前学習 LLM をループ化アーキテクチャに変換する後トレーニングフレームワークである textbfLooped Depth Up-Scaling (LoopUS) を導入する。 LoopUS は事前訓練された LLM をエンコーダ、ループ推論ブロック、デコーダに再キャストする。 これらのメカニズムは、標準的な非ループモデルからループ形式に変換し、計算ボトルネックと表現崩壊の両方に対して安定化する。
• 参考スコア（独自算出の注目度）: 35.78769938627291
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Looped computation shows promise in improving the reasoning-oriented performance of LLMs by scaling test-time compute. However, existing approaches typically require either training recurrent models from scratch or applying disruptive retrofits, which involve substantial computational costs and may compromise pretrained capabilities. To address these limitations, we introduce \textbf{Looped Depth Up-Scaling} (LoopUS), a post-training framework that converts a standard pretrained LLM into a looped architecture. As a key technical contribution, LoopUS recasts the pretrained LLM into an encoder, a looped reasoning block, and a decoder. It operationalizes this latent-refinement architecture through four core components: (1) block decomposition, guided by staged representation dynamics; (2) an input-dependent selective gate to mitigate hidden-state drift; (3) random deep supervision for memory-efficient learning over long recursive horizons; and (4) a confidence head for adaptive early exiting. Collectively, these mechanisms transform a standard non-looped model into a looped form while stabilizing it against both computational bottlenecks and representation collapse. Through stable latent looping, LoopUS improves reasoning-oriented performance without extending the generated traces or requiring recurrent training from scratch. For more details, see https://thrillcrazyer.github.io/LoopUS
• Abstract（参考訳）: ループ計算は、テスト時間計算をスケールすることでLCMの推論指向のパフォーマンスを向上させることを約束している。 しかし、既存のアプローチでは、スクラッチから繰り返しモデルをトレーニングするか、かなりの計算コストを要し、事前訓練された能力を損なうような破壊的な補正を適用する必要がある。 これらの制約に対処するために,標準的な事前学習 LLM をループアーキテクチャに変換する後トレーニングフレームワークである \textbf{Looped Depth Up-Scaling} (LoopUS) を導入する。 重要な技術的貢献として、LoopUSは事前訓練されたLCMをエンコーダ、ループ推論ブロック、デコーダに再キャストする。 このアーキテクチャは,(1)ブロック分解,(2)隠れ状態ドリフトを緩和するための入力依存選択ゲート,(3)長期再帰的地平線上でのメモリ効率学習のためのランダムな深層監視,(4)適応早期退避のための信頼性ヘッドの4つのコアコンポーネントを通じて運用されている。 これらのメカニズムは、計算ボトルネックと表現崩壊の両方に対して安定化しながら、標準的な非ループモデルからループ形式に変換する。 安定した潜伏ループを通じて、LoopUSは、生成されたトレースを拡張したり、スクラッチから繰り返しトレーニングを必要とすることなく、推論指向のパフォーマンスを改善する。 詳細はhttps://thrillcrazyer.github.io/LoopUSを参照してください。

関連論文リスト

• LoopRPT: Reinforcement Pre-Training for Looped Language Models [40.95348011001987]
  LoopRPTはLoopLM用に設計された強化事前トレーニングフレームワークである。 複数のモデルスケールでOuroアーキテクチャ上でLoopRPTをインスタンス化する。 その結果、LoopRPTはステップごとの表現品質を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-20T07:35:38Z)
• SVD Contextual Sparsity Predictors for Fast LLM Inference [0.0]
  本稿では,大規模言語モデル(LLM)におけるReGLUベースのフィードフォワードネットワーク(FFN)の推論を高速化するためのフレームワークを提案する。 実験では、複雑な数学やコード生成を含むタスクにおけるベンチマークスコアの1%未満の劣化を維持しながら、エンドツーエンドのデコーディング時間を1.8倍に削減した。
  論文  参考訳（メタデータ） (2026-03-14T20:36:13Z)
• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning [38.78160379823724]
  リカレントディープスVLA(Recurrent-Depth VLA)は、明示的なトークン生成ではなく、遅延反復精製による計算適応性を実現するアーキテクチャである。 RD-VLAは、メモリフットプリントが一定である任意の推論深度をサポートするリカレントで重み付けされたアクションヘッドを使用している。
  論文  参考訳（メタデータ） (2026-02-08T07:21:01Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Scaling Latent Reasoning via Looped Language Models [109.64154923739842]
  事前学習されたループ言語モデル(LoopLM)のファミリーであるOuroを提示し、オープンソース化する。 Ouro は (i) 潜時空間における反復計算, (ii) 学習深度割り当てのためのエントロピー規則化された目的, (iii) 7.7T トークンへのスケーリングによる事前学習段階への推論を構築する。
  論文  参考訳（メタデータ） (2025-10-29T17:45:42Z)
• READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
  自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:47:48Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。