論文の概要: Reaching Every Position Without Searching: Rotating Sparse Wiring on the Hypercube as a Substitute for Attention

• arxiv url: http://arxiv.org/abs/2609.18145v1
• Date: Wed, 16 Sep 2026 05:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.655468
• Title: Reaching Every Position Without Searching: Rotating Sparse Wiring on the Hypercube as a Substitute for Attention
• Title（参考訳）: 探索無しで全ての位置を取る:注意代行の代用としてハイパーキューブでスパースワイヤーを回転させる
• Abstract要約: どの層でも、どの層でも、どの層でも、誰が接続すべきかを検索するコストがかかる。 すべての位置が到達しない限り解決不可能な合成タスクでは、この回転は全配線を1/32ドルのリンクで一致させる。 また、うまくいかなかったこと - 学習座標、明らかなゲインが飽和カーネルの人工物であることが判明した「力学」変種も報告した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention pays, at every layer and for every input, the cost of searching for whom to connect. We ask how far one can get with wiring that is fixed, sparse, and simply rotated from layer to layer. Treating the $n$ positions of a sequence as the vertices of a $\log_2 n$-dimensional hypercube and connecting each position, at layer $\ell$, to its neighbour along dimension $\ell \bmod \log_2 n$, information from every position reaches every other in $\log_2 n$ layers with $2n$ links per layer instead of $n^2$. On a synthetic task that is unsolvable unless all positions are reached, this rotation matches all-to-all wiring at $1/32$ of the links, while the same sparse pattern held fixed across layers fails; what matters is that every dimension is touched, not the order. On character-level language modelling of a public corpus (the first $12$M characters of enwik8), a hybrid that keeps two attention layers among sixteen sparse ones reaches $0.06$ bits-per-character lower held-out loss than a fully attentive model of the same width at the same step budget (three seeds each, no overlap), with $1/7$ of the links, $42\%$ fewer parameters, and $2.4\times$ less wall-clock time; the purely rotated schedule is level with the hybrid. The same ordering holds on a second corpus of mixed Japanese, English and code, where the gap widens to $0.16$. The usable learning-rate window is four to eight times wider than attention's on both. We also report what did not work - learned coordinates, and a "dynamics" variant whose apparent gains turned out to be an artefact of a saturated kernel - and the measurement discipline (frozen corpus, full-coverage evaluation, seed spread as the bar for ranking) that we found necessary to say anything at all at this scale.
• Abstract（参考訳）: 注意は、すべての層とすべての入力に対して、誰と接続すべきかを検索するコストを支払う。 固定された、スパースで、単純に層から層へと回転する配線で、どれだけ遠くまで行けるかを尋ねる。 シークエンスの$n$位置を$\log_2 n$-次元ハイパーキューブの頂点として扱い、各位置を$\ell$で隣り合う次元に$\ell \bmod \log_2 n$で接続すると、すべての位置からの情報は$\log_2 n$層において互いに到達し、$n^2$ではなく$2n$のリンクを持つ。 すべての位置が到達しない限り解決不可能な合成タスクでは、このローテーションは全配線を1/32ドルのリンクで一致させる。 公共コーパス(enwik8の最初の12$M文字)の文字レベルの言語モデリングでは、16個のスパースのうち2つの注意層を保持するハイブリッドが0.06$bits-per-characterに到達し、同じステップ予算(それぞれ3つのシード、重複しない)で同じ幅の完全な注意的モデルよりも低い保持的損失となる。 同じ注文は日本語、英語、コードの混合コーパスで行われており、そのギャップは0.16ドルにまで拡大している。 使用可能な学習レートウィンドウは、双方の注意の4倍から8倍の幅がある。 また、このスケールでは、何も言う必要がないような測定の規律(凍結したコーパス、完全なカバレッジ評価、種をランキングのバーとして広める)と、明らかなゲインが飽和カーネルの人工物であることが判明した「力学」変種についても報告した。

関連論文リスト

• Elastic Token Compression for Pixel-Space Diffusion Transformers [64.18588817660013]
  領域トークンインタフェース(Method)は、これらのトークンに拡散モデルを適用する。 メソッドは、一致した予算で事前の削減手法を導き、密度の高い品質を2.0times$の速度で一致させ、2.6times$の精度で維持する。
  論文  参考訳（メタデータ） (2026-08-29T14:06:27Z)
• Every Layer Counts: An Exponential $L_2$ Depth Hierarchy for ReLU Networks [3.0120086446979877]
  我々は、ReLUニューラルネットワークに対して、任意のReLU層が指数関数的に多くのニューロンを保存できる深さ階層を証明した。 我々はまた、より正規なターゲットに対して正確な分離を証明し、これはグローバルに$[0,1]$-valued と $mathcalO(sqrt d)$-cubeschitz である。
  論文  参考訳（メタデータ） (2026-08-24T22:32:35Z)
• When Should Graph Attention Be Sparse? Learning a Per-Edge Tsallis Index [0.0]
  textbfLearnable textbfTsallis textbfGraph textbfAttention, which Tsallis entropic index $q$ is learned with the weights。 検証調整した冷凍グリッドは、61.4%$、チューニングされた$-entmax 6,2.2%$、キャパシティマッチングされた$q!equiv!1$コントロール62.0%$、および61.7%$に達する。
  論文  参考訳（メタデータ） (2026-08-03T22:51:49Z)
• Bond-dimension scaling of a local-refinement advantage over hyperoptimized tensor-network contraction on Sycamore like topologies [0.0]
  我々は,コテングラテンソル-ネットワーク収縮パイプラインにおける局所再分極の欠如を同定した。 我々は、その影響がシカモア型トポロジーの直交性グラフ上の結合次元とともに単調に増加することを示す。
  論文  参考訳（メタデータ） (2026-04-28T11:59:31Z)
• Clustering Propagation for Universal Medical Image Segmentation [63.431147442243855]
  医用画像のセグメンテーションのための卓越したソリューションは、通常、自動的またはインタラクティブな設定のために調整される。 クラスタリングベースのセグメンテーション技術にインスパイアされたS2VNetは、データのスライスワイズ構造をフル活用する。 S2VNetは、一般的な3Dソリューションに比べて高速な推論速度とメモリ消費の削減により、自分自身を区別する。
  論文  参考訳（メタデータ） (2024-03-25T11:32:05Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)
• Can We Find Nash Equilibria at a Linear Rate in Markov Games? [95.10091348976779]
  マルチプレイヤーゼロサム割引マルコフゲームにおける分散学習について検討した。 目標は、2つの特性を満たすエージェントのポリシー最適化アルゴリズムを設計することである。
  論文  参考訳（メタデータ） (2023-03-03T02:40:26Z)
• ARCS: Accurate Rotation and Correspondence Search [21.01267270902429]
  本論文は,「同時回転・対応探索」と呼ばれる,より汎用的な古いワフバ問題について述べる。 まず最初に、例えば$m,napprox 106$ を 0.1$ 秒で解けるように、$O(mlog m)$ time と $O(m)$ space, iv) を用いる。
  論文  参考訳（メタデータ） (2022-03-28T04:42:11Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。