論文の概要: One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer

• arxiv url: http://arxiv.org/abs/2605.17811v1
• Date: Mon, 18 May 2026 03:36:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.720133
• Title: One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
• Title（参考訳）: 1モデルと2つの役割:共有リカレント変圧器の創発的特殊化
• Abstract要約: 非対称入力再帰: 共有重み付けリカレントトランスフォーマーは、別々のモジュールに分割することなく、異なる内部ロールを発生させることができるか? 両更新で同じTransformerモデルを再利用した最小2状態推論アーキテクチャであるAsymmetric Input Recurrence (AIR) でこれを検証した。 機械学的に、注意解析により、L-更新はスドクとマゼの双方のH-更新よりも一貫して局所的であることが示された。
• 参考スコア（独自算出の注目度）: 8.348937182957332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a shared-weight recurrent Transformer develop distinct internal roles without being partitioned into separate modules? We study this in Asymmetric Input Recurrence (AIR), a minimal two-state reasoning architecture in which the same Transformer model is reused for both updates (per literature, L and H) and the only built-in difference in the update rule is that the encoded input is injected during L-updates but not H-updates. Across Sudoku-Extreme and Maze, decoded rollouts reveal a consistent split: $\zH$ behaves like a fully committed proposal state, whereas $\zL$ retains local uncertainty and shifting intermediate structure. Freeze experiments show that this split is, in practice, related to the model's state dynamics: in Sudoku, freezing $\zH$ reduces $\zL$'s content changes whereas freezing $\zL$ increases $\zH$'s, while in Maze, freezing either state increases content changes in the other state. Ablations show that to induce specialization, the shared model needs to be able to tell the two update types apart, either from input injection asymmetry or from a separate level token. Mechanistically, attention analysis shows that L-updates are consistently more local than H-updates in both Sudoku and Maze. Together, these results show that, in a two-state recurrent setting, a clear state-identity signal can induce stable, related functional roles inside a shared-parameter recurrent Transformer. Code is available at \href{https://github.com/juchengshen/air}{\textcolor{blue}{https://github.com/juchengshen/air}}.
• Abstract（参考訳）: 共有重み付きリカレントトランスフォーマーは、別々のモジュールに分割することなく、異なる内部ロールを発生させることができるか? 非対称入力再帰(AIR)では、同じトランスフォーマーモデルが両方の更新(文献、L、H)で再利用される最小2状態推論アーキテクチャで、更新ルールの唯一の違いは、エンコードされた入力がL-updatesで注入されるが、H-updatesでは注入されないことである。 Sudoku-Extreme と Maze にまたがって、デコードされたロールアウトは、一貫した分割を示す: $\zH$ は、完全にコミットされた提案状態のように振る舞うが、$\zL$ は、局所的な不確実性を保持し、中間構造をシフトする。 凍結した$\zL$は、他の状態におけるコンテンツの変化を増加させるが、凍結した$\zL$は、$\zH$'sを増大させる。 アブレーションは、特殊化を誘発するために、共有モデルは2つの更新タイプをインジェクション非対称性から、または別のレベルトークンから区別することができる必要があることを示している。 機械学的に、注意解析により、L-更新はスドクとマゼの双方のH-更新よりも一貫して局所的であることが示された。 これらの結果は,2状態のリカレント・セッティングにおいて,共有パラメータ・リカレント・トランスの安定な機能的役割を導出できることを示す。 コードは \href{https://github.com/juchengshen/air}{\textcolor{blue}{https://github.com/juchengshen/air}} で公開されている。

関連論文リスト

• Transfiver: Human-AI Co-Inference through a Shared Editable State [7.339235574084628]
  Transfiverは、共有編集可能な状態を通じて、人間とAIの共推論のためのアーキテクチャである。 暗黙のストリーム更新では、モデルは進行中のインタラクションを解釈し、新しい情報が既存の状態項目を更新するか、または新しいものを作成するかを決定する。 人間は、明示的に指示された編集において、宛先項目を検査し、修正する。どちらも同じ基礎状態に作用するため、人間の修正は、他の命令や別個のレコードを追加するのではなく、その後の計算が読み取る状態を変更する。
  論文  参考訳（メタデータ） (2026-09-03T13:03:23Z)
• Fast Weight Attention for Continual Learning [75.34672054079408]
  リカレント高速記憶と選択状態空間モデルは、拡張コンテキストを固定サイズのリカレント状態に圧縮する。 正則化された二乗誤差回帰と負の内積目標の1次更新を導出する。 我々は、数値的に安定な正のデカイ再正規化とともに、繰り返し、マスクパラレル、チャンクパラレル形式を提供する。
  論文  参考訳（メタデータ） (2026-08-27T22:55:11Z)
• Directional Contextual Representations for Dependency Relations: Why Cross-Direction Pairing Fails [22.49571926071395]
  トークンの前方状態とエンファンシデントの後方状態(クロス・ディレクションのペアリング,$F_i$ vs. $B_j$)とのペアリングが一貫して同一方向ペアリングを行い,ペナルティ・アンファングロウは縮小せず,トークン距離が有意であることを示す。
  論文  参考訳（メタデータ） (2026-08-21T00:50:25Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning [60.714416943748866]
  シングルストリームの自己回帰インターフェースでは、同じトークンがモデル状態を更新し、不可逆的な公約を構成する。 そこで我々は,Side-by-Side (SxS) Interleaved Reasoningを導入する。
  論文  参考訳（メタデータ） (2026-05-05T02:59:58Z)
• Sessa: Selective State Space Attention [0.0]
  本稿では、繰り返しフィードバックパス内に注意を向けるデコーダであるSessaを提案する。 Sessaはパワーローメモリのテールを$O(ell-)$$01$で認めており、TransformerやMambaスタイルのベースラインよりも劣化が遅い。
  論文  参考訳（メタデータ） (2026-04-20T17:59:08Z)
• Canonicalizing Multimodal Contrastive Representation Learning [76.15228959754727]
  ここでは,CLIP,SigLIP,FLAVAなどのモデルファミリにおいて,埋め込み空間間の幾何学的関係が存在することを示す。 この発見は、後方互換性のあるモデルアップグレードを可能にし、コストのかかる再埋め込みを回避し、学習された表現のプライバシに影響を及ぼす。
  論文  参考訳（メタデータ） (2026-02-19T18:09:36Z)
• Scale-Invariant Fast Convergence in Games [67.02769061793619]
  我々は,スケールフリーでもスケール不変でも,高速収束を実現する学習力学を開発した。 2プレーヤゼロサムゲームに対しては、$tildeO(A_mathrmdiff)$で有界な外部後悔を伴うスケールフリーかつスケール不変のダイナミクスが得られる。 マルチプレイヤーの汎用ゲームでは、過去の観測に基づいて観察された勾配をクリップする2倍のクリッピングと呼ばれる手法によって、スケールフリーの学習も可能となる。
  論文  参考訳（メタデータ） (2026-02-12T11:57:20Z)
• StagFormer: Time Staggering Transformer Decoding for RunningLayers In Parallel [16.03039380465818]
  Transformerベースの言語モデルでのデコーディングは本質的にシーケンシャルである。次のトークンの生成が始まる前に、トークンの埋め込みがネットワーク内のすべてのレイヤを通過する必要があるからだ。 本稿では,シーケンス軸に沿って実行をステージングし,モデル深度に沿って復号処理を並列化可能にする新しいアーキテクチャStagFormerを提案する。
  論文  参考訳（メタデータ） (2025-01-26T20:09:11Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• $R^{2}$Former: Unified $R$etrieval and $R$eranking Transformer for Place Recognition [92.56937383283397]
  検索と再ランクの両方を扱う統合された場所認識フレームワークを提案する。 提案モジュールは特徴相関,注目値,xy座標を考慮に入れている。 R2$Formerは、主要なVPRデータセットの最先端メソッドを著しく上回る。
  論文  参考訳（メタデータ） (2023-04-06T23:19:32Z)
• Cluster and Aggregate: Face Recognition with Large Probe Set [18.662943303044315]
  本稿では,2段階の機能融合パラダイムであるClusterとAggregateを提案する。 IJB-BおよびIJB-Sベンチマークデータセットの実験は、制約のない顔認識における提案された2段階パラダイムの優位性を示している。
  論文  参考訳（メタデータ） (2022-10-19T20:01:15Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。