Fugu-MT 論文翻訳(概要): Causal Latent Workspaces for Looped Transformers

論文の概要: Causal Latent Workspaces for Looped Transformers

arxiv url: http://arxiv.org/abs/2610.22796v1
Date: Fri, 16 Oct 2026 01:16:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-20 00:56:07.725826
Title: Causal Latent Workspaces for Looped Transformers
Title（参考訳）: ループ変換器の因果潜在ワークスペース
Abstract要約: 因果的潜在ワークスペースTransformer: アンカー付き4ラウンド共有深度アーキテクチャを提案する。提案モデルでは,5つのトランスフォーマー制御に対して,6つの設定のうち5つの設定のうち5つの平均ホールドアウトパープレキシティを実現する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reusing a Transformer block across depth increases computation without replicating its parameters, but successive passes have no dedicated state through which positions can exchange compact summaries of their causal prefix. We introduce the causal latent workspace Transformer: an anchored, four-round shared-depth architecture in which each position writes gated vectors into prefix-specific latent slots and retrieves a content-addressed summary before the next shared block application. This path complements causal self-attention while the original input embedding remains accessible at every round. Across three byte-level corpora, three seeds, and two matched parameter budgets, the proposed model achieves the best mean held-out perplexity in five of six settings against five Transformer controls. At 101.71M parameters it leads on WikiText-103 raw, enwik8, and TinyStories, reaching perplexities 2.7820, 2.7843, and 1.6823; these improve upon the strongest non-workspace control on each corpus by 1.06%, 0.73%, and 1.01%. All nine seed-labelled comparisons at this budget favor the workspace. At 0.918M parameters it leads on WikiText-103 and TinyStories, whereas a conditioned loop is stronger on enwik8. Architectural ablations show that adding the workspace improves upon the anchored loop in all six settings and support refreshing its causal summaries at each round. Together, these results identify a causal, content-addressable prefix workspace as an effective structural augmentation of looped Transformers.
Abstract（参考訳）: 深さを越えたトランスフォーマーブロックの再利用は、パラメータを複製せずに計算を増大させるが、逐次パスは、それらの因果接頭辞のコンパクトな要約を交換できる専用の状態を持たない。本稿では,各位置がゲートベクトルをプレフィックス固有の潜在スロットに書き込むアンカー付き4ラウンド共有深度アーキテクチャについて紹介し,次の共有ブロックアプリケーションの前にコンテンツ対応の要約を検索する。この経路は因果自己注意を補完するが、元の入力埋め込みは各ラウンドでアクセス可能である。 3バイトレベルのコーパス、3つのシード、2つの一致したパラメータ予算に対して、提案モデルは5つのトランスフォーマー制御に対して6つのセッティングのうち5つのホールドアウトパープレキシティで最高の平均パープレキシティを達成する。 101.71Mパラメータでは、WikiText-103 raw、enwik8、TinyStoriesが2.7820、2.7843、1.6823に到達し、各コーパスにおける最強の非ワークスペース制御を1.06%、0.73%、1.01%改善している。この予算での9つのシードラベリングの比較はすべて、ワークスペースを好んでいる。 0.918MパラメータではWikiText-103とTinyStoriesに導かれるが、enwik8では条件付きループが強い。アーキテクチャ上の改善点は、ワークスペースを追加することで、6つの設定すべてでアンカーされたループが改善され、各ラウンドで因果的なサマリーをリフレッシュできることを示している。これらの結果は、ループ変換器の効果的な構造拡張として、因果的かつ内容適応可能なプレフィックスワークスペースを同定する。

関連論文リスト

Activation-Aware Weight Tensorization: A Calibration-Time Preconditioner for Tensor-Network LLM Compression [56.13339704668584]
トレーニング後のテンソルネットワーク圧縮は、Transformer線形層をTrain (TT) または Tree Network (TTN) オペレータに置き換える。標準分解は、層の活性化分布の下での関数誤差よりも、重み空間のフロベニウス誤差を最小化する。本稿では,各重み行列を対角的アクティベーション・ワイドスケールでプリコンディションするアクティベーション・アウェア・エレメント化(AWT)を提案する。
論文参考訳（メタデータ） (2026-10-07T13:48:04Z)
Recurrent Looped Transformer [55.3126277171095]
Recurrent Looped Transformerはレイヤを並列因果エンコーダとリカレントデコーダに分割する。 2つのRTTは各シードで100%精度でパリティを256ビットに分割し、トランスフォーマーは偶然に残る。トレーニング長の8倍のスワップベースの$S_5$置換トラッキングでは、RTTは最終状態の精度が97%に達し、Transformerは1%以下になった。
論文参考訳（メタデータ） (2026-10-06T01:29:46Z)
Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文参考訳（メタデータ） (2026-09-30T16:47:35Z)
PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
本稿では、読みを推論から切り離すPARSERを紹介する。単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。 7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
論文参考訳（メタデータ） (2026-09-06T16:19:01Z)
On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文参考訳（メタデータ） (2026-08-31T06:35:07Z)
Block-Level Weight-Space Structure Persists Under Post-Training: An Empirical Study Across LLM Families [3.556355987197792]
ポストトレーニングが重み空間幾何学をどう変えるかを研究する。当社はLinkerLLMという遅延ローダを開発しています。
論文参考訳（メタデータ） (2026-08-23T05:15:25Z)
When Do Task Vectors Interfere? Mapping the Validity Boundaries of Weight-Space Composition [3.2114065314849323]
タスク算術は、微調整変位を重み空間における構成可能な方向として扱う。パラメータ幾何を関数幾何学から切り離し、2次元のタスクベクトル面上の対関数的非付加性を測定する。
論文参考訳（メタデータ） (2026-08-10T11:58:04Z)
Reactive 3D Motion Planning for a Franka Arm via Star-World Workspace Reshaping [0.0]
安全インフレーションは、近くの障害物が重なり、多くの変調ベースの反応性プランナーが使用する不規則な障害物の仮定に違反する可能性がある。フランカ・エミカ・パンダマニピュレータの3次元反応性制御のためのStar-Worldワークスペース再構成について検討する。目標達成率,パス長比,計算時間を用いて,6つのPyBulletシナリオにおける再形および非形障害物表現を比較した。
論文参考訳（メタデータ） (2026-07-27T23:12:32Z)
Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence [0.7364191922317778]
構造化されたリカレント状態が、言語モデリングのためのコンパクトな連想バックボーンとして機能するかを検討する。我々はUniMatrixを紹介した。UniMatrixはUniversal Transformerスタイルのファミリーで、深さにわたって共有された再帰ブロックを再利用する。我々はこれらのモデルを,バイトレベルのWikiText-2とApple MPSで評価する。
論文参考訳（メタデータ） (2026-04-01T22:30:25Z)
Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention [4.925939498983408]
マルチヘッド自己アテンションはトランスフォーマーネットワークのコアを形成する。本稿では,トークン間のデータの時間的安定性を利用して推論コストを削減する動的プルーニング手法を提案する。実験の結果,元の98.4%の精度を維持しながら80%の操作を削減できることがわかった。
論文参考訳（メタデータ） (2022-03-20T20:59:13Z)
Deep Hough Voting for Robust Global Registration [52.40611370293272]
6次元変換パラメータ空間におけるハフ投票を利用した実世界の3Dスキャンのペア登録のための効率的なフレームワークを提案する。提案手法は, 3DMatch と 3DLoMatch のベンチマークにおいて, KITTI odometry データセットで同等の性能を達成しながら, 最先端の手法よりも優れている。
論文参考訳（メタデータ） (2021-09-09T14:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。