Fugu-MT 論文翻訳(概要): Lower bounds for one-layer transformers that compute parity

論文の概要: Lower bounds for one-layer transformers that compute parity

arxiv url: http://arxiv.org/abs/2605.12171v1
Date: Tue, 12 May 2026 14:17:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-13 21:48:56.914237
Title: Lower bounds for one-layer transformers that compute parity
Title（参考訳）: パリティを計算する一層変圧器の下位境界
Authors: Daniel Hsu,
Abstract要約: 有理関数で後処理された自己アテンション層は、頭部の数と後処理関数の次数が入力長さと直線的に増加しない限り、パリティ関数にサインアップできない。
参考スコア（独自算出の注目度）: 6.047707245028433
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This note shows that no self-attention layer post-processed by a rational function can sign-represent the parity function unless the product of the number of heads and the degree of the post-processing function grows linearly with the input length. Combining this lower bound with rational approximation of ReLU networks yields a margin-dependent extension for self-attention layers post-processed by ReLU networks.
Abstract（参考訳）: このノートは、有理関数によって後処理された自己アテンション層が、頭部の数と後処理関数の次数が入力長と線形に増加しない限り、パリティ関数にサインアップできないことを示している。この下位境界と合理的なReLUネットワークの近似を組み合わせることで、ReLUネットワークによって後処理された自己アテンション層に対するマージン依存の拡張が得られる。

関連論文リスト

Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting [0.0]
ヴィジュアライゼーションとは異なり、KAN(Kolmogorov-Arnold Networks)はすべてのコネクションで学習可能なエッジ関数を明示する。本稿では,kanエッジ関数を忠実な説明に変換するフレームワークであるTemporal Functional Circuitsを紹介する。
論文参考訳（メタデータ） (2026-05-07T05:23:39Z)
FUTON: Fourier Tensor Network for Implicit Neural Representations [56.48739018255443]
入射神経表現(INR)はシグナルを符号化する強力なツールとして現れてきたが、支配的な設計はしばしば収束が遅く、ノイズに過度に適応し、外挿が不十分である。低ランクテンソル分解により係数がパラメータ化される一般化フーリエ級数として信号をモデル化するFUTONを導入する。
論文参考訳（メタデータ） (2026-02-13T19:31:44Z)
Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
論文参考訳（メタデータ） (2026-02-13T04:05:03Z)
Universal Approximation Theorem for Input-Connected Multilayer Perceptrons [0.0]
入力結合型多層パーセプトロン (IC-MLP) は、各隠れたニューロンが受信するフィードフォワードニューラルネットワークアーキテクチャであり、前層の出力に加えて、生の入力から直接アフィン接続を行う。我々は、深い IC-MLP が実直線の閉区間上の任意の連続函数を近似できることを示す普遍近似定理を証明し、活性化関数が非線形である場合に限る。次に、解析をベクトル値入力に拡張し、$mathbbRn$ のコンパクト部分集合上の連続函数に対する対応する普遍近似定理を確立する。
論文参考訳（メタデータ） (2026-01-20T14:48:45Z)
Approximation Capabilities of Feedforward Neural Networks with GELU Activations [6.488575826304024]
関数とその導関数を任意の所定の順序まで同時に保持する近似誤差を導出する。境界は、多変量、指数関数、相互関数を含む基本函数に適用される。ネットワークサイズ,重み度,動作を無限大で報告する。
論文参考訳（メタデータ） (2025-12-25T17:56:44Z)
Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
論文参考訳（メタデータ） (2024-05-10T14:31:58Z)
Horizon-Free Regret for Linear Markov Decision Processes [92.02082223856479]
最近の一連の研究は、強化学習における残念な境界が(ほぼ)計画的地平から独立していることを示している。我々は、人気のある線形マルコフ決定過程(MDP)設定に対して、最初の地平面自由境界を与える。遷移モデルを明示的に推定し、不均一な値関数を計算する先行研究とは対照的に、直接値関数と信頼集合を推定する。
論文参考訳（メタデータ） (2024-03-15T23:50:58Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
論文参考訳（メタデータ） (2021-07-06T19:51:37Z)
Linear Regression without Correspondences via Concave Minimization [24.823689223437917]
信号は、対応のない線形回帰設定で復元される。関連する最大可能性関数は、信号が1より大きい次元を持つとき、NPハードで計算する。我々はこれを凹凸最小化問題として再定義し、分岐とバウンドによって解決する。結果として得られたアルゴリズムは、完全にシャッフルされたデータに対して最先端の手法より優れており、最大8ドルの信号で抽出可能である。
論文参考訳（メタデータ） (2020-03-17T13:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。