論文の概要: Looped Transformers under the Jacobian Lens: Does the Global Workspace Survive Recurrence?

• arxiv url: http://arxiv.org/abs/2609.01924v1
• Date: Tue, 01 Sep 2026 22:47:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.005244
• Title: Looped Transformers under the Jacobian Lens: Does the Global Workspace Survive Recurrence?
• Title（参考訳）: ジャコビアンレンズの下でのループ変換器:グローバルワークスペースは再帰的か?
• Abstract要約: 仮想アンロールアダプタを用いて,ジャコビアンレンズを繰り返しアーキテクチャに拡張する。 各アーキテクチャの繰り返し部分でワークスペースが形成されるのが分かりますが、その繰り返しはアクセス方法を変えます。
• 参考スコア（独自算出の注目度）: 10.230437172157474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work identifies a mid-depth band of verbalisable, causally potent representations in a standard feedforward transformer --- a functional analogue of a global workspace. Whether the same workspace functionality emerges when depth is implemented through recurrence rather than a stack of distinct layers remains unknown. Looped and depth-recurrent transformers provide a direct test of this question because they reuse the same weights across depth. We extend the Jacobian lens to iterated architectures using a virtual-unrolling adapter. We apply the full workspace suite --- lens fitting, readout, and eleven causal experiment families --- to Ouro-2.6B (48 layers looped 4 times, deeply supervised) and Huginn-0125 (a 4-layer core recurred 16 times, trained for latent reasoning), using Qwen3.6-27B (64 untied layers) as the standard baseline. We find that a workspace forms in the iterated part of each architecture, but that recurrence changes how it can be accessed. Ouro reconstructs workspace content in every loop, and linear transport cannot carry that content across loop boundaries; writes and ablations must therefore span every remaining loop. Huginn carries content forward across all sixteen recurrences, while reads, writes, and ablations act only within a sliding window of roughly two recurrences. Whether newly injected content can be verbalised tracks explicit per-iteration supervision; whether existing content can be steered does not.
• Abstract（参考訳）: 最近の研究は、標準的なフィードフォワードトランスフォーマーにおける口頭で因果的に強力な表現の奥行きのバンドを、グローバルなワークスペースの機能的な類似として特定している。 同じワークスペース機能が、異なるレイヤのスタックではなく、繰り返し実装されるときに現れるかどうかは不明だ。 ループ化および深さ再帰変換器は、深さにわたって同じ重みを再利用するため、この問題を直接検査する。 仮想アンロールアダプタを用いて,ジャコビアンレンズを繰り返しアーキテクチャに拡張する。 We apply the full workspace suite --- Lens fit, readout, and 11 causal experiment family --- to Ouro-2.6B (48 layer looped 4 times, deep supervised) and Huginn-0125 (4layer core repeated 16 times, training for latent reasoning) using Qwen3.6-27B (64 untied layer) as the standard baseline。 各アーキテクチャの繰り返し部分でワークスペースが形成されるのが分かりますが、その繰り返しはアクセス方法を変えます。 Ouroはすべてのループでワークスペースのコンテンツを再構成し、リニアトランスポートはループ境界を越えてそのコンテンツを運ぶことができない。 Huginnは16回の反復の全てにコンテンツを転送し、読み込み、書き込み、アブレーションはおよそ2回の反復のスライディングウィンドウ内でのみ実行される。 新たなインジェクトされたコンテンツが、明示的なツイートごとの監督をラベル化できるかどうか、既存のコンテンツがステアリング可能かどうか、は問わない。

関連論文リスト

• From Interaction Traces to Persistent Skills: Online Evolution for Computer-Use Agents [48.50635499112162]
  本稿では,インタラクショントラジェクトリと評価器フィードバックを再利用手順の永続的でバージョン管理されたライブラリに変換するオンラインスキル進化フレームワークを提案する。 我々は、OSWorldの4つのアプリケーションドメインにまたがって、完全に進化するライブラリシステムと、設定にマッチした空のライブラリ制御を比較した。 GIMPでは、プロファイランス・アウェア・アナリティクスにより、タスク・オブ・オリジンの境界を越えた検索とリビジョンが示され、繰り返し受け入れられた編集が元のタスクの回復に失敗する。
  論文  参考訳（メタデータ） (2026-09-04T08:29:45Z)
• Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments [89.86581796261123]
  それぞれの軌道を再利用可能な環境に変えるためのフレームワークである Terminal-Universe を紹介する。 Terminal-Universeは、トラジェクトリに記録されたファイル操作をリプレイして、エージェントが変更する前に各ファイルを復元し、部分的なワークスペースを生成する。 また、タスクは幅と深さの2つの軸に沿ってスケールします。
  論文  参考訳（メタデータ） (2026-09-03T17:41:05Z)
• Neural network realization of binary refinement iterates via a two-chart atlas selector [0.0]
  コンパクトに支持された全ての連続分級線形種は、固定幅と深さの正確なReLU実現を線形に認める有限の精製繰り返しを持つことを示す。 この構成はまた、自然の終点整合条件を満たす全ての連続片方向線型円関数の正確な読み出しを与える。
  論文  参考訳（メタデータ） (2026-07-21T14:11:16Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• From Brewing to Resolution: Tracing the Internal Lifecycle of Code Reasoning in LLMs [15.027568869464737]
  モデルが解答を最初に作り出すコード推論の内部ライフサイクルについて検討し、自己記述可能になる前に多くのレイヤを線形に回復できるようにする。 本稿では,CSD(Context-Stripped Decoding)を用いた双方向診断フレームワークの線形探索手法を提案し,Qwen,Llama,DeepSeekにまたがる16モデルを対象とした6つのコード推論タスクファミリに適用する。
  論文  参考訳（メタデータ） (2026-06-16T08:06:50Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Ouroboros: Dynamic Weight Generation for Recursive Transformers via Input-Conditioned LoRA Modulation [0.0]
  Ouroborosは、コンパクトなコントローラハイパーネットワークを再帰変換ブロックにアタッチするシステムである。 コントローラは現在の隠れ状態を観察し、ステップごとの対角変調ベクトルを生成し、凍ったSVD-d LoRAベースに適用する。 Qwen2.5-3BはPrelude/Recurrent/Codaアーキテクチャに分割され、Ouroborosは修正されていない17層ベースラインのトレーニング損失を43.4%削減した。 完全なシステムでは、9.2Mのトレーニング可能なパラメータ(コントローラ、ゲート、ステップごとのノルム)しか追加されていないが、同等の大きさの静的LORAを1.44ロスで上回っている。
  論文  参考訳（メタデータ） (2026-04-02T13:52:32Z)
• Inner Loop Inference for Pretrained Transformers: Unlocking Latent Capabilities Without Training [9.617245548268437]
  事前訓練された言語モデルにおいて,長期化のための推論時間内ループを提案する。 複数のベンチマークで、内部ループは控えめだが、一貫した精度の向上をもたらす。 以上の結果から, 凍結事前学習モデルにおいて, 簡単なテスト時間ループにより, さらなる改良が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-16T14:04:24Z)
• Learning to Compose for Cross-domain Agentic Workflow Generation [56.630382886594184]
  クロスドメインワークフロー生成のためのオープンソースのLLMを作成します。 さまざまなドメインにわたる再利用可能なワークフロー機能のコンパクトなセットを学びます。 当社の1パスジェネレータは、20イテレーションを消費するSOTAリファインメントベースラインを超えています。
  論文  参考訳（メタデータ） (2026-02-11T18:27:22Z)
• Loop as a Bridge: Can Looped Transformers Truly Link Representation Space and Natural Language Outputs? [35.69659577142189]
  大きな言語モデル(LLM)は、しばしば内部知識と明示的な言語出力の間にギャップを生じさせる。 共有層を繰り返すことで計算深度を増大させるループ変換器(LT)がこのギャップを埋めるかどうかを検討する。 実験の結果,ループ反復の増加はギャップを狭めるが,表現による内部知識の劣化によっても引き起こされることがわかった。
  論文  参考訳（メタデータ） (2026-01-15T10:01:21Z)
• Recurrent Generic Contour-based Instance Segmentation with Progressive Learning [111.31166268300817]
  本稿では,一般的な輪郭型インスタンスセグメンテーションのための新しいディープネットワークアーキテクチャ,すなわちPolySnakeを提案する。 従来のSnakeアルゴリズムに動機付け,提案したPolySnakeはより優れた,堅牢なセグメンテーション性能を実現する。
  論文  参考訳（メタデータ） (2023-01-21T05:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。