Fugu-MT 論文翻訳(概要): Reproducing Recurrent Transformers: The CoTFormer

論文の概要: Reproducing Recurrent Transformers: The CoTFormer

arxiv url: http://arxiv.org/abs/2607.19405v1
Date: Tue, 07 Jul 2026 19:30:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-02 22:55:38.923533
Title: Reproducing Recurrent Transformers: The CoTFormer
Title（参考訳）: リカレントトランスの再生:CoTFormer
Abstract要約: CoTFormer は遅延計算の形式であり、中間状態を出席可能な表現として保存し、明示的な推論トレースを模倣する。 CoTFormerとその構造的変異を複雑度と計算効率の指標で評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The CoTFormer architecture formalizes Chain-of-Thought as a form of recurrent latent computation, preserving intermediate states as attendable representations to mimic explicit reasoning traces. In this work, we evaluate CoTFormer and its structural variants across perplexity and compute efficiency metrics. Furthermore, we extend evaluation to controlled algorithmic settings to determine whether this recurrent framework improves out-of-distribution generalisation on inductive reasoning tasks.
Abstract（参考訳）: CoTFormerアーキテクチャはChain-of-Thoughtをリカレント遅延計算の形式として定式化し、中間状態を出席可能な表現として保存し、明示的な推論トレースを模倣する。本研究では,CoTFormerとその構造的変異を複雑度および計算効率の指標で評価する。さらに,この繰り返しフレームワークが帰納的推論タスクのアウト・オブ・ディストリビューションの一般化を改善するかどうかを判断するために,制御されたアルゴリズム設定まで評価を拡張した。

関連論文リスト

Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
論文参考訳（メタデータ） (2026-06-21T12:14:11Z)
Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization [68.89915707647138]
大規模推論モデル(LRM)は、長い推論連鎖の生成を通じて複雑なタスクを解く際、印象的な能力を示した。 textbfCoSMo(textbfSplit-textbfMerge textbfOptimization)を提案する。
論文参考訳（メタデータ） (2026-02-03T05:54:28Z)
EntroCoT: Enhancing Chain-of-Thought via Adaptive Entropy-Guided Segmentation [18.606842425858]
CoT(Chain-of-Thought)の促進により、大規模言語モデルの数学的推論能力が大幅に向上した。既存の微調整データセットは、しばしば"答えは正しいが間違った理由"プローブに悩まされる。本稿では,高品質なCoT監視トレースを自動的に識別し,精錬するための統合フレームワークであるEntroCoTを提案する。
論文参考訳（メタデータ） (2026-01-07T10:02:27Z)
SalaMAnder: Shapley-based Mathematical Expression Attribution and Metric for Chain-of-Thought Reasoning [45.78228118909098]
CoT(Chain-of-Thought)により、大きな言語モデル(LLM)の数学推論能力が大きく向上する。 textbfSalaMAnder (textbfShtextbfaptextbfley-btextbfased textbfMathematical Expression textbfAttribution atextbfnd Mtextbfettextbfric) は理論的に根拠付けられた方法論である。我が家
論文参考訳（メタデータ） (2025-09-20T07:38:58Z)
To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers [32.84174396586435]
CoT(Chain-of-Thought)とLooped Transformerは、推論タスクのパフォーマンスを実証的に改善することが示されている。それぞれの強みと限界を形式的に分析する。
論文参考訳（メタデータ） (2025-05-25T17:49:37Z)
Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer [29.970200877158764]
ニューラルモデルにおけるリカレント構造が推論能力と計算可能性に与える影響について検討する。我々は、CoTアプローチが繰り返し計算を模倣し、自己回帰と再発の間のブリッジとして機能する方法について光を当てた。
論文参考訳（メタデータ） (2024-09-14T00:30:57Z)
Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文参考訳（メタデータ） (2024-08-25T04:07:18Z)
Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文参考訳（メタデータ） (2024-07-05T14:29:44Z)
Tractable Bounding of Counterfactual Queries by Knowledge Compilation [51.47174989680976]
本稿では, パール構造因果モデルにおいて, 因果関係などの部分的特定可能なクエリのバウンダリングの問題について議論する。最近提案された反復EMスキームは初期化パラメータをサンプリングしてそれらの境界を内部近似する。シンボルパラメータを実際の値に置き換えた回路構造を,単一のシンボル知識コンパイルによって得られることを示す。
論文参考訳（メタデータ） (2023-10-05T07:10:40Z)
Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
論文参考訳（メタデータ） (2022-07-21T14:00:52Z)
End-to-end reconstruction meets data-driven regularization for inverse problems [2.800608984818919]
本稿では,不適切な逆問題に対するエンド・ツー・エンドの再構成演算子を学習するための教師なしアプローチを提案する。提案手法は,古典的変分フレームワークと反復的アンローリングを組み合わせたものである。我々は,X線CT(Computerd tomography)の例で,最先端の教師なし手法よりも優れていることを示す。
論文参考訳（メタデータ） (2021-06-07T12:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。