論文の概要: On the Mirage of Long-Range Dependency, with an Application to Integer Multiplication

• arxiv url: http://arxiv.org/abs/2603.29069v2
• Date: Sun, 05 Apr 2026 18:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.439866
• Title: On the Mirage of Long-Range Dependency, with an Application to Integer Multiplication
• Title（参考訳）: 長距離依存性のミラージュと整数乗算への応用について
• Abstract要約: 計算の乗算は長い間 ニューラルネットワークにとって難しい問題と考えられてきました 我々は、長距離依存は乗法の本質的な性質ではなく、時空の選択によって生成されるミラージュであると主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integer multiplication has long been considered a hard problem for neural networks, with the difficulty widely attributed to the O(n) long-range dependency induced by carry chains. We argue that this diagnosis is wrong: long-range dependency is not an intrinsic property of multiplication, but a mirage produced by the choice of computational spacetime. We formalize the notion of mirage and provide a constructive proof: when two n-bit binary integers are laid out as a 2D outer-product grid, every step of long multiplication collapses into a $3 \times 3$ local neighborhood operation. Under this representation, a neural cellular automaton with only 321 learnable parameters achieves perfect length generalization up to $683\times$ the training range. Five alternative architectures -- including Transformer (6,625 params), Transformer+RoPE, and Mamba -- all fail under the same representation. We further analyze how partial successes locked the community into an incorrect diagnosis, and argue that any task diagnosed as requiring long-range dependency should first be examined for whether the dependency is intrinsic to the task or induced by the computational spacetime.
• Abstract（参考訳）: 整数乗法は長年、ニューラルネットワークにとって難しい問題と考えられてきたが、その難しさはキャリーチェインによって誘導されるO(n)長距離依存性に広く起因している。 長距離依存は乗法の本質的な性質ではなく、計算時空の選択によって生成されるミラージュである。 2つの n-ビット二進整数が2次元外積格子としてレイアウトされると、長い乗算のすべてのステップが3ドル3セントの局所近傍演算に崩壊する。 この表現の下では、321個の学習可能なパラメータしか持たない神経セルオートマトンが、トレーニング範囲に対して683\timesまでの完全な長さの一般化を達成する。 Transformer (6,625params)、Transformer+RoPE、Mambaを含む5つの代替アーキテクチャは、すべて同じ表現で失敗する。 さらに, 部分的な成功により, コミュニティが不正確な診断を下し, 長期依存と診断されたタスクは, そのタスクに固有のものなのか, あるいは計算時空によって引き起こされるものなのかを, まず調べるべきである,と論じる。

関連論文リスト

• MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
  本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。 MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。 HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
  論文  参考訳（メタデータ） (2026-06-22T10:14:06Z)
• Beyond Accuracy: Diagnosing Algebraic Reasoning Failures in LLMs Across Nine Complexity Dimensions [8.616356693448985]
  代数的推論は、大きな言語モデルにとって最も有意義なストレステストの1つである。 現在のベンチマークでは、特定の原因に障害をもたらすメカニズムを提供していません。 我々は、各因子が独立に変化し、他の因子は全て固定される9次元の枠組みを導入する。
  論文  参考訳（メタデータ） (2026-04-08T08:12:45Z)
• Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
  言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。 直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
  論文  参考訳（メタデータ） (2025-09-30T19:03:26Z)
• Stuffed Mamba: Oversized States Lead to the Inability to Forget [53.512358993801115]
  Mambaベースのモデルは、内蔵の忘れ物機構であっても、以前のトークンを効果的に忘れるのに苦労していることを示す。 モデルの学習に必要な最小トレーニング長は状態サイズと線形に一致し,5桁パスキーの精度向上のための最大コンテキスト長は状態サイズと指数関数的に一致した。 我々の研究は、将来のRNN設計は、状態サイズ、トレーニング期間、長いコンテキストタスクにおいて堅牢なパフォーマンスを達成するためのメカニズムを忘れることの間の相互作用を考慮しなければならないことを示唆している。
  論文  参考訳（メタデータ） (2024-10-09T17:54:28Z)
• Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time [17.086679273053853]
  本研究では,新しい高速近似法により,ほぼ線形時間で勾配を計算することができることを示す。 勾配の効率を改善することで、この作業がより効果的なトレーニングと長期コンテキスト言語モデルのデプロイを促進することを期待する。
  論文  参考訳（メタデータ） (2024-08-23T17:16:43Z)
• SE(3)-Hyena Operator for Scalable Equivariant Learning [5.354533854744212]
  ヒエナ作用素に基づく同変長畳み込みモデルであるSE(3)-ヒエナを導入する。 我々のモデルは20kトークンの幾何学的文脈を同変変圧器のx3.5倍高速に処理する。
  論文  参考訳（メタデータ） (2024-07-01T07:56:48Z)
• LongNet: Scaling Transformers to 1,000,000,000 Tokens [146.4077038371075]
  LongNetはTransformerの変種で、シーケンス長を10億以上のトークンに拡張できる。 我々の研究は、例えば、コーパス全体やインターネット全体をシーケンスとして扱うなど、非常に長いシーケンスをモデリングする新たな可能性を開く。
  論文  参考訳（メタデータ） (2023-07-05T17:59:38Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Multi-Modal and Multi-Factor Branching Time Active Inference [2.513785998932353]
  モンテカルロ木探索に基づく分枝時間アクティブ推論(BTAI)の2つのバージョンが開発されている。 しかし、BTAIのこれらの2つのバージョンはいまだ指数複雑性クラスに悩まされており、観測変数と潜伏変数の数がモデル化されている。 本稿では、この制限をいくつかの観測をモデル化することで解決する。 推論アルゴリズムは、後部の計算を高速化するために、可能性と遷移写像の分解を利用する。
  論文  参考訳（メタデータ） (2022-06-24T22:07:21Z)
• Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version [50.43914511877446]
  本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。 我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-28T20:41:49Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。