論文の概要: Loop as a Bridge: Can Looped Transformers Truly Link Representation Space and Natural Language Outputs?

• arxiv url: http://arxiv.org/abs/2601.10242v1
• Date: Thu, 15 Jan 2026 10:01:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.090998
• Title: Loop as a Bridge: Can Looped Transformers Truly Link Representation Space and Natural Language Outputs?
• Title（参考訳）: ループ・アズ・ア・ブリッジ:ループ変換器は表現空間と自然言語出力を完全にリンクできるのか?
• Authors: Guanxu Chen, Dongrui Liu, Jing Shao,
• Abstract要約: 大きな言語モデル(LLM)は、しばしば内部知識と明示的な言語出力の間にギャップを生じさせる。 共有層を繰り返すことで計算深度を増大させるループ変換器(LT)がこのギャップを埋めるかどうかを検討する。 実験の結果,ループ反復の増加はギャップを狭めるが,表現による内部知識の劣化によっても引き起こされることがわかった。
• 参考スコア（独自算出の注目度）: 35.69659577142189
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often exhibit a gap between their internal knowledge and their explicit linguistic outputs. In this report, we empirically investigate whether Looped Transformers (LTs)--architectures that increase computational depth by iterating shared layers--can bridge this gap by utilizing their iterative nature as a form of introspection. Our experiments reveal that while increasing loop iterations narrows the gap, it is partly driven by a degradation of their internal knowledge carried by representations. Moreover, another empirical analysis suggests that current LTs' ability to perceive representations does not improve across loops; it is only present in the final loop. These results suggest that while LTs offer a promising direction for scaling computational depth, they have yet to achieve the introspection required to truly link representation space and natural language.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、しばしば内部知識と明示的な言語出力の間にギャップを生じさせる。 本稿では,共有層を反復することで計算深度を増大させるLooped Transformer (LT)-architectureが,その反復特性をイントロスペクションの形式として活用することで,このギャップを埋めることができるかどうかを実証的に検討する。 実験の結果,ループ反復の増加はギャップを狭めるが,表現による内部知識の劣化によっても引き起こされることがわかった。 さらに、別の経験的分析では、現在のLTが表現を知覚する能力はループ全体では改善せず、最終ループにのみ存在することを示唆している。 これらの結果から、LTは計算深度をスケールするための有望な方向を提供するが、表現空間と自然言語を真に結びつけるのに必要なイントロスペクションをまだ達成していないことが示唆された。

関連論文リスト

• Scaling Latent Reasoning via Looped Language Models [109.64154923739842]
  事前学習されたループ言語モデル(LoopLM)のファミリーであるOuroを提示し、オープンソース化する。 Ouro は (i) 潜時空間における反復計算, (ii) 学習深度割り当てのためのエントロピー規則化された目的, (iii) 7.7T トークンへのスケーリングによる事前学習段階への推論を構築する。
  論文  参考訳（メタデータ） (2025-10-29T17:45:42Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent [26.764893400499354]
  線形ループ変換器は、コンテキスト内学習において、多段階勾配勾配を効率よく実装できることを示す。 この結果から,入力データが一定条件数である場合,$n = O(d)$であれば,線形ループ変換器の誤差は小さくなることがわかった。
  論文  参考訳（メタデータ） (2024-10-15T04:44:23Z)
• Practical Computational Power of Linear Transformers and Their Recurrent and Self-Referential Extensions [15.793406740545024]
  線形変換器(LT)やFWP(Fast Weight Programmers)を線形化した自動回帰変換器について検討する。 LTは固定サイズのRNNライクなシーケンスプロセッサと等価であるという意味で特有であり、今や人気になっている自己アテンションネットワークとしても表現できる。
  論文  参考訳（メタデータ） (2023-10-24T17:17:01Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。