論文の概要: Allocating Recurrent Compute in Looped Language Models

• arxiv url: http://arxiv.org/abs/2608.18230v1
• Date: Tue, 18 Aug 2026 18:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.181629
• Title: Allocating Recurrent Compute in Looped Language Models
• Title（参考訳）: ループ言語モデルにおける繰り返し計算の割り当て
• Abstract要約: ループ言語モデルは、共有計算を繰り返し適用することで推論と知識操作を改善する。 既存のシステムは通常、層全体を繰り返すが、ミキサーと高密度フィードフォワードネットワーク(FFN)は異なる処理を行い、コストが異なる。 我々は、タスク読み出し時に観測可能な新しいクロスポジションの影響方向を公開する際に、アプリケーションは価値があると論じる。
• 参考スコア（独自算出の注目度）: 4.5951126822611466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped language models improve reasoning and knowledge manipulation by applying shared computation repeatedly. Existing systems usually repeat an entire layer stack, although a mixer and a dense feed-forward network (FFN) perform different operations and have different costs. We ask a narrower question: what should loop? We view recurrence as repeated composition of a state update and argue that an application is valuable when it exposes a new cross-position influence direction that remains observable at the task readout. Iterative Transport Rank (ITR) describes the cumulative influence trajectory; marginal ITR describes the nonredundant influence contributed by successive applications. This view motivates MixerLoop, which repeats each Gated DeltaNet mixer while applying its dense FFN once. We compare MixerLoop with no recurrence and full-block recurrence at 15M and 110M parameters under the same data, initialization, and architecture. A finite context-off intervention tests whether later mixer applications produce distinct, non-negligible, and beneficial changes at the final language-model readout. MixerLoop surpasses FullLoop on aggregate CORE at 15M and retains 41.5% of its CORE improvement at 110M while reducing recurrent-backbone projection FLOPs by 45.9%. These results show that the benefits of recurrent depth can be retained without repeatedly executing the dense FFN.
• Abstract（参考訳）: ループ言語モデルは、共有計算を繰り返し適用することで推論と知識操作を改善する。 既存のシステムは通常、層全体を繰り返すが、ミキサーと高密度フィードフォワードネットワーク(FFN)は異なる処理を行い、コストが異なる。 我々はより狭い質問に答える:何にループすべきか? 我々は、リカレンスを状態更新の繰り返しの構成とみなし、タスク読み出し時に観測可能な新しいクロスポジションの影響方向を公開すると、アプリケーションの価値を主張する。 反復輸送ランク(ITR)は累積影響軌道を記述し、限界ITRは連続的な応用によってもたらされる非冗長影響を記述している。 このビューはMixerLoopを動機付け、Gated DeltaNetミキサーを繰り返すと同時に、その密度の高いFFNを一度適用する。 我々は、MixerLoopを15Mと110Mのパラメータで、同じデータ、初期化、アーキテクチャの繰り返しやフルブロックの繰り返しなしで比較する。 後続のミキサーアプリケーションが最終言語モデルの読み出しにおいて、はっきりした、無視できない、有益な変化をもたらすかどうか、有限のコンテキストオフ介入テストを行う。 MixerLoopは総COREの15MでFullLoopを上回り、COREの改善の41.5%を110Mで維持し、リカレントバックボーンプロジェクションFLOPを45.9%削減した。 以上の結果から,高密度FFNを繰り返し実行することなく再電流深さの利点を維持できることが示唆された。

関連論文リスト

• Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data [119.14301046837822]
  データ繰り返しにおいて、Mixture-of-Experts(MoEs)はより高速に劣化することを示す。 データが64回以上繰り返された場合でも、MoEは高密度モデルより優れている。 高繰り返し状態におけるMoE過剰適合と相関する内部機構を解析した。
  論文  参考訳（メタデータ） (2026-09-10T17:57:33Z)
• LoopVAE: Recurrent Depth Across Scales for Visual Tokenization [3.805468327504537]
  LoopVAEはスケールとループ条件のコアをスケール内で再利用する。 4ブロックコアはエンコーダまたはデコーダ毎に28ブロックアプリケーションを実行する。 同じ実行グラフを持つ非逆変換器アブレーションは、グローバルな共有の下で競合するPSNRとSSIMを見つける。
  論文  参考訳（メタデータ） (2026-09-10T13:20:03Z)
• Recursive Scaling in Masked Diffusion Models [67.93066069475753]
  マスク付き拡散モデル (MDMs) は近年, シーケンス生成において有望なパラダイムとして浮上している。 本稿では,R-MDM(Recursive Masked Diffusion Models)を導入し,パラメータ数を増やすことなくモデル深度を増加させる。 Sudoku や Countdown などの構造化された生成タスク全体で、R-MDM がパラメータ効率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-06-16T15:02:49Z)
• Structured Recurrent Mixers for Massively Parallelized Sequence Generation [0.0]
  本稿では,列車時のシーケンス並列表現と推論時のリカレント表現との変換を可能にするアーキテクチャであるStructured Recurrent Mixerを紹介する。 この二重表現は、他の線形複雑性モデルと比較して、トレーニング効率が向上し、入力情報のキャパシティが向上し、推論スループットと長さが向上することを示す。
  論文  参考訳（メタデータ） (2026-05-09T05:07:55Z)
• SCORE: Replacing Layer Stacking with Contractive Recurrent Depth [0.0]
  残余接続は、現代のディープニューラルネットワークの中心である。 本稿では,従来の層積み重ねに代わる離散的再帰型 SCORE (Skip-Connection ODE Recurrent Embedding) を提案する。
  論文  参考訳（メタデータ） (2026-03-11T08:49:03Z)
• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
  高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。 我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-03T09:23:41Z)
• Never Reset Again: A Mathematical Framework for Continual Inference in Recurrent Neural Networks [2.1838661321884443]
  リカレントニューラルネットワーク(RNN)はシーケンシャルな処理に広く用いられているが、状態飽和による連続推論による制限に直面している。 本稿では,拡張シーケンスの精度を保ちつつ,推論中のリセットの必要性を解消する適応的損失関数を提案する。
  論文  参考訳（メタデータ） (2024-12-20T15:24:28Z)
• Inference Scaling for Bridging Retrieval and Augmented Generation [47.091086803980765]
  大規模言語モデル(LLM)の出力を操る一般的なアプローチとして、検索拡張世代(RAG)が登場している。 このようなバイアスは、推論スケーリングから、検索されたコンテキストの置換順序からの推論呼び出しの集約まで緩和可能であることを示す。 ROUGE-L は MS MARCO で,EM は HotpotQA ベンチマークで 7 ポイント向上した。
  論文  参考訳（メタデータ） (2024-12-14T05:06:43Z)
• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  非同期勾配降下法(ASGD)は訓練速度を改善することができるが、通信とスループットの差により遅延に敏感である。 PD-ASGDは、フォワードとバックのパスに別々のスレッドを使用し、更新を分離し、フォワードとバックのスレッドの比率を高くする。 提案手法では,遅延が存在する場合,同期データ並列処理よりも5.95タイム以上高速に動作しながら,最先端の処理結果に近い結果が得られる。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
  本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
  論文  参考訳（メタデータ） (2022-11-23T16:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。