論文の概要: Temporal Recurrence Favors Fewer Layers

• arxiv url: http://arxiv.org/abs/2609.12531v1
• Date: Fri, 11 Sep 2026 07:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.657818
• Title: Temporal Recurrence Favors Fewer Layers
• Title（参考訳）: 時間的再帰は低い層を好む
• Abstract要約: 時間的繰り返しは、最も観測された計算割り当てを、かなり少ない層にシフトする。 Sokoban や Autoregressive FineWeb Language のモデリングでは、時間的繰り返しは最も観測された計算割り当てをかなり少ない層にシフトする。
• 参考スコア（独自算出の注目度）: 23.798140938989686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In streaming tasks, recurrent models can carry latent computation across time, allowing each update to build on representations produced earlier. This raises a basic question: once temporal recurrence provides sequential computation across steps, how much depth is still needed within each step? Prior work has shown that recurrence can make shallow models competitive. We instead study this question as a compute-allocation problem, varying within-step depth, expert width, and the number of parallel experts per layer across several compute budgets. For each budget, we compare the best observed recurrent and non-recurrent allocations and the performance they achieve under approximately matched per-step computation. Across Sokoban and autoregressive FineWeb language modeling, we find that temporal recurrence shifts the best observed compute allocation toward substantially fewer layers, with comparable or better performance.
• Abstract（参考訳）: ストリーミングタスクでは、リカレントモデルが遅延計算を時間にわたって実行し、各更新は以前に生成された表現に基づいて構築することができる。 一時的反復がステップ間で逐次計算を提供するなら、各ステップでどれくらいの深さが必要か? 以前の研究は、再発が浅いモデルを競争力のあるものにすることを示した。 代わりに、この問題を計算割当問題として研究し、いくつかの計算予算にまたがるステップ内深さ、専門家の幅、各層ごとの並列専門家の数を変化させる。 各予算について、最もよく観測された再帰的および非反復的な割り当てと、ほぼ一致したステップ毎の計算で達成される性能を比較した。 Sokoban や Autoregressive FineWeb Language のモデリングでは、時間的繰り返しは、最も観測された計算割り当てを、同等あるいは優れたパフォーマンスで、かなり少ない層にシフトする。

関連論文リスト

• Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence [113.48450265178953]
  既存の事前学習された非再帰言語モデルを深度再帰モデルに変換する方法について検討する。 学習過程におけるモデルの有効深度を高めるために繰り返しのカリキュラムを用いることで,全体の計算コストを削減しつつ,性能を維持できることが判明した。
  論文  参考訳（メタデータ） (2025-11-10T18:43:07Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Accelerated Training through Iterative Gradient Propagation Along the Residual Path [46.577761606415805]
  ハイウェイバックプロパゲーションは、バックプロパゲーションを近似する並列化可能な反復アルゴリズムである。 ResNetやTransformerから、リカレントニューラルネットワークまで、さまざまな共通アーキテクチャセットに適応可能である。
  論文  参考訳（メタデータ） (2025-01-28T17:14:42Z)
• Flash Inference: Near Linear Time Inference for Long Convolution Sequence Models and Beyond [7.280765035096294]
  本稿では,LCSMの正確な推定速度を準線形$O(Llog2L)$ timeに高速化する手法を提案する。 私たちはHyenaのコンセプト実装の証明を提供し、標準推論よりも1.6倍のエンドツーエンドの改善が得られます。
  論文  参考訳（メタデータ） (2024-10-16T19:23:46Z)
• Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
  非同期勾配降下法(ASGD)は訓練速度を改善することができるが、通信とスループットの差により遅延に敏感である。 PD-ASGDは、フォワードとバックのパスに別々のスレッドを使用し、更新を分離し、フォワードとバックのスレッドの比率を高くする。 提案手法では,遅延が存在する場合,同期データ並列処理よりも5.95タイム以上高速に動作しながら,最先端の処理結果に近い結果が得られる。
  論文  参考訳（メタデータ） (2024-10-08T12:32:36Z)
• Enhancing Transformer RNNs with Multiple Temporal Perspectives [18.884124657093405]
  本稿では、リカレントニューラルネットワーク(RNN)アーキテクチャに適用可能な新しいアプローチである、複数時間視点の概念を紹介する。 この方法は、以前遭遇したテキストの多様な時間的ビューを維持することを含み、コンテキストを解釈する言語モデルの能力を大幅に強化する。
  論文  参考訳（メタデータ） (2024-02-04T22:12:29Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• DeepPCR: Parallelizing Sequential Operations in Neural Networks [4.241834259165193]
  我々は、ニューラルネットワークの推論とトレーニングを高速化するために、典型的にはシーケンシャルな操作を並列化する新しいアルゴリズムであるDeepPCRを紹介する。 DeepPCRは、特定の方程式系の解法として$L$のステップ列を解釈し、並列サイクル還元アルゴリズムを用いて回復する。 アルゴリズムの理論的に低い複雑性を検証し,高速化のための機構を同定するために,多層パーセプトロンの前方・後方パスの並列化におけるDeepPCRの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-28T10:15:30Z)
• Parallelizing non-linear sequential models over the sequence length [7.99707131886133]
  我々は,逐次モデルのGPU評価を最大3桁高速化する並列アルゴリズムを開発した。 17k時間サンプルを用いた長期連続分類問題において, Gated Recurrent Unit の有効性について検討した。
  論文  参考訳（メタデータ） (2023-09-21T16:52:34Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Context-aware and Scale-insensitive Temporal Repetition Counting [60.40438811580856]
  時間的反復カウントは、与えられた反復行動のサイクル数を推定することを目的としている。 既存のディープラーニング手法は、実生活における複雑な反復行動に対して無効である固定された時間スケールで繰り返し動作が実行されると仮定する。 本稿では,未知かつ多様なサイクル長による繰り返しカウントの課題に対処するための文脈認識・スケール非感性フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-18T05:49:48Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。