論文の概要: Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
- arxiv url: http://arxiv.org/abs/2610.23036v1
- Date: Fri, 16 Oct 2026 07:12:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.801891
- Title: Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
- Title（参考訳）: ループモデルが正しい方向に進む : その1:トポロジー,入力インジェクション,リカレントステートデザイン
- Abstract要約: ループ言語モデルは論理的な深さにわたってトランスフォーマーブロックを再利用するが、確立されたアーキテクチャは繰り返し配置、インプットインジェクション、リカレントステート組織を絡ませる。
我々はこれらの軸を、一致したパラメータスケール、論理深度、トークン予算でスクラッチから訓練されたモデルで分離する。
次に、得られた設計原則が常駐型およびアクティブ型パラメータマッチング型Mixture-of-Experts(MoE)モデルに遷移するかどうかを検証する。
- 参考スコア（独自算出の注目度）: 22.011559933859868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped language models reuse physical Transformer blocks across logical depth, but established architectures entangle recurrence placement, input injection, and recurrent state organization. We isolate these axes in models trained from scratch at matched parameter scale, logical depth, and token budgets, and then test whether the resulting design principles transfer to resident- and active-parameter-matched Mixture-of-Experts (MoE) models. The prelude-recurrent block-coda sandwich architecture consistently improves performance on context extraction and reasoning-intensive tasks. Input injection primarily enhances knowledge retrieval and context utilization, whereas random initialization and separate H/L recurrent states provide mixed or negative returns. Taken together, these results favor the Huginn-style design: at the 730M-parameter and 336B-token scale, the complete Huginn architecture outperforms Ouro across all ten benchmarks. The advantages of Huginn over Ouro transfer to MoE models. At the 8BA0.8B (32BA3B when unrolled) scale trained on 500B tokens, Huginn outperforms Ouro on nearly all benchmarks spanning knowledge, reasoning, and coding, while also exhibiting more balanced expert routing. Under matched training and inference FLOPs, the Huginn-style model uses 75% fewer resident parameters than a 112-layer feedforward MoE baseline. Despite its smaller physical parameters, it outperforms the feedforward baseline on DROP and GSM8K, matches it on MATH500, and remains competitive on the other benchmarks.
- Abstract（参考訳）: ループ言語モデルは論理的な深さにわたって物理トランスフォーマーブロックを再利用するが、確立されたアーキテクチャは繰り返し配置、入力インジェクション、および繰り返し状態組織を絡ませる。
これらの軸を整合パラメータスケール,論理深度,トークン予算でスクラッチからトレーニングしたモデルに分離し,得られた設計原則が常駐パラメータとアクティブパラメータマッチング混合(MoE)モデルに移行するかどうかを検証した。
プレルードリカレントブロックコーダサンドイッチアーキテクチャは、コンテキスト抽出と推論集約タスクのパフォーマンスを一貫して改善する。
入力インジェクションは、主に知識検索と文脈利用を強化するが、ランダム初期化とH/L再帰状態は混合あるいは負のリターンを与える。
合計730Mパラメータと336Bトーケンスケールでは、完全なHuginnアーキテクチャはOuroを10のベンチマークで上回っている。
HuginnのOuroに対するアドバンテージは、MoEモデルへの移行である。
500Bトークンでトレーニングされた8BA0.8B (32BA3B)スケールでは、Huginn氏は知識、推論、コーディングにまたがるほぼすべてのベンチマークでOuroを上回り、バランスの取れたエキスパートルーティングも見せている。
一致するトレーニングと推論のFLOPでは、Huginnスタイルのモデルは112層のフィードフォワードMOEベースラインよりも75%少ない常駐パラメータを使用する。
物理パラメータは小さいが、DROPとGSM8Kのフィードフォワードベースラインよりも優れており、MATH500と競合し、他のベンチマークと競合する。
関連論文リスト
- LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。
我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。
23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文 参考訳（メタデータ） (2026-08-04T10:53:02Z) - Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models [2.1665689529884697]
本稿では,コンパクトな埋め込みモデルと汎用SLMの2つのコンポーネントからなる効率的なRAGアーキテクチャであるB1adeについて述べる。
5つの事前訓練エンコーダのパラメータフリー融合により構築された335Mパラメータ検索モデルであるB1ade-embedは、追加トレーニングをゼロとした500M未満モデルの上位MTEBスコアを達成する。
B1ade-1Bは42.4%の反応で回収された通路を引用し、トレーニング分布の寄与率を5.5ポイント上回っている。
論文 参考訳（メタデータ） (2026-07-29T22:41:25Z) - Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models [0.8552050317027305]
大規模言語モデル(LLM)における幻覚は、高レベルのデプロイメントにとって重要な障壁である。
ニューロサイエンスにインスパイアされた信号設計と教師付き機械学習を組み合わせたハイブリッド検出フレームワークである[Model Name]を紹介する。
論文 参考訳（メタデータ） (2026-01-22T05:00:21Z) - Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。
記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
論文 参考訳（メタデータ） (2025-08-26T04:31:28Z) - Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs [111.69640966866059]
ミキチャー・オブ・エキスパート(MoE)と1兆近いパラメータを持つ疎大言語モデル(LLM)が、最も有能な言語モデルの領域を支配している。
本稿では,Ascend NPU上でそのようなスケールを利用するレシピを明らかにすることを目的としている。
主な目的は、動的スパースモデル構造下でのコンピューティングリソースのより良い使用と、実際のハードウェアで期待されるパフォーマンス向上の実現である。
論文 参考訳（メタデータ） (2025-05-07T15:46:36Z) - Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach [70.44265766483633]
本稿では,潜在空間における暗黙的推論によるテスト時間計算のスケールアップが可能な,新しい言語モデルアーキテクチャについて検討する。
我々のモデルは繰り返しブロックを繰り返すことで動作し、テスト時に任意の深さに展開する。
結果のモデルが推論ベンチマークの性能を劇的に改善できることが示される。
論文 参考訳（メタデータ） (2025-02-07T18:55:02Z) - Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。
現在のMoEモデルはパラメータ非効率をしばしば表示する。
我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
論文 参考訳（メタデータ） (2024-08-13T10:25:13Z) - Pretraining Without Attention [114.99187017618408]
本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。
BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
論文 参考訳（メタデータ） (2022-12-20T18:50:08Z) - Back to MLP: A Simple Baseline for Human Motion Prediction [59.18776744541904]
本稿では、歴史的に観察されたシーケンスから将来の身体のポーズを予測することによる、人間の動作予測の課題に取り組む。
これらの手法の性能は、0.14Mパラメータしか持たない軽量で純粋にアーキテクチャアーキテクチャによって超えることができることを示す。
Human3.6M, AMASS, 3DPWデータセットの徹底的な評価は, siMLPeをダブした我々の手法が, 他のアプローチよりも一貫して優れていることを示している。
論文 参考訳（メタデータ） (2022-07-04T16:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。