論文の概要: TESLA: Taylor Expansion of Sinusoidal Learnable Activations

• arxiv url: http://arxiv.org/abs/2608.11970v1
• Date: Wed, 12 Aug 2026 11:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.56707
• Title: TESLA: Taylor Expansion of Sinusoidal Learnable Activations
• Title（参考訳）: TESLA:TaylorがSinusoidal Learnable Activationを拡張
• Abstract要約: TESLAは、正弦複雑性と余弦項の学習可能な組み合わせである。 入力長 n = 32 のパリティでは、TESLA は 100K のトレーニングサンプルで強い一般化を実現する。 合成構造以外にも、TESLAはImageNet-100で同等のパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 5.451464789025205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The parity problem--deciding whether the number of ones in a binary vector is odd or even--remains challenging for standard neural networks due to linear inseparability and the need for global interactions. We propose TESLA, an activation defined as a learnable combination of sine and cosine terms, enabling explicit control over polynomial degree and selective amplification of high-order components. Theoretically, we show that constraining TESLA's coefficients yields Lipschitz/Rademacher complexity bounds and shapes the training dynamics to emphasize higher-frequency structure. Empirically, on parity with input length n = 32, TESLA attains strong generalization with 100K training samples (approximately 0.002% of the 2^32 input space) and remains robust under heavy corruption, retaining high accuracy with up to 30% label noise. We also compare against periodic and frequency-based baselines (SIREN, SNAKE, and Fourier feature embeddings) on parity and Forrelation. Beyond synthetic structure, TESLA delivers comparable performance on ImageNet-100, indicating that activation-level degree control transfers to more general vision workloads. Code: https://github.com/KAU-QuantumAILab/TESLA
• Abstract（参考訳）: パリティ問題-バイナリベクトル内の1個数が奇数か偶数かを決定する--線形分離性や大域的な相互作用の必要性から、標準的なニューラルネットワークでは困難である。 本稿では,正弦項と余弦項の学習可能な組み合わせとして定義された活性化であるTESLAを提案し,多項式次数に対する明示的な制御と高次成分の選択的増幅を実現する。 理論的には、TESLA係数の制約はリプシッツ/ラデマッハの複雑性境界を生じさせ、より高い周波数構造を強調するためにトレーニング力学を形作ることを示す。 経験的に、入力長さ n = 32 のパリティでは、TESLA は 100K のトレーニングサンプル (2^32 入力空間の約 0.002% ) で強力な一般化を実現し、高い汚職下では頑健であり、最大30%のラベルノイズで高い精度を維持している。 また, 周期的, 周波数的ベースライン(SIREN, SNAKE, フーリエ特徴埋め込み)をパリティとフォルレレーションで比較した。 TESLAは合成構造以外にも、ImageNet-100上で同等のパフォーマンスを提供しており、アクティベーションレベルのコントロールがより一般的な視覚ワークロードに転送されることを示している。 コード:https://github.com/KAU-QuantumAILab/TESLA

関連論文リスト

• The Fourier Wall: Why Public Tabular Datasets Refuse Quantum Advantage, and a Certified Recipe for Where It Lives [0.0]
  量子機械学習モデルは通常、注意深く調整された古典的なベースラインを失う。 シミュレーション不要な構造画面であるSPECTRAとして条件を運用する。 工業用スマートメーターデータでは、SPECTRAは実際のピーク負荷目標を正しく拒否し、勾配木は0.999のROC-AUCに達する。
  論文  参考訳（メタデータ） (2026-07-17T10:24:57Z)
• Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention [0.0]
  標準的な注意力に欠ける2つの相補的帰納バイアスを同定する。 正当性と局所性は相補的帰納バイアスであり、それぞれが単独では満たせないギャップに対処する。 この超添加性は、2つの独立したトレーニングランで観察され、中心的な経験的発見である。
  論文  参考訳（メタデータ） (2026-05-25T22:04:31Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• TENSURE: Fuzzing Sparse Tensor Compilers (Registered Report) [9.083996936429465]
  我々は,スパースコンパイラのテストに特化して設計された,最初のブラックボックスファジィフレームワークであるTENSUREを紹介する。 合成されたカーネルの100%の意味論的妥当性を保証する制約ベースの新しい生成アルゴリズムを提案する。 TACOとFinchの2つの最先端システムに対する評価では、特にTACOでは、TENSUREがクラッシュや無音の誤コンパイルを露呈している。
  論文  参考訳（メタデータ） (2026-03-19T00:13:14Z)
• Differentiable Logic Synthesis: Spectral Coefficient Selection via Sinkhorn-Constrained Composition [0.0]
  凍結フーリエ基底からスペクトル係数を選択する微分可能なアーキテクチャである階層スペクトル合成を導入する。 我々はこのフレームワークを論理合成に適用し、ブール否定を可能にするカラムサイン変調を追加する。
  論文  参考訳（メタデータ） (2026-01-20T13:26:52Z)
• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• Quantum Convolution for Structure-Based Virtual Screening [0.0]
  構造ベースの仮想スクリーニング(SBVS)は、潜在的な薬物候補を特定するための重要な計算戦略である。 本研究では、デルタG_bindを効率的に推定する量子畳み込みニューラルネットワーク(QCNN)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-13T15:03:43Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Gated Linear Attention Transformers with Hardware-Efficient Training [60.670102007737476]
  本研究は、並列化性に対してメモリ移動をオフにする線形注意のためのハードウェア効率のアルゴリズムについて述べる。 次に、このアルゴリズムを、データ依存ゲートを用いたより表現力豊かな線形アテンションに一般化する。 変圧器の標準アテンション層に代えて使用すると、結果として生じるゲート状リニアアテンショントランスが競合的に動作することが分かる。
  論文  参考訳（メタデータ） (2023-12-11T18:51:59Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks [78.64167379726163]
  本論文は,複素数値ニューラルネットワークの一般化を証明した最初の論文である。 複雑な値の畳み込みニューラルネットワークを異なるデータセット上でトレーニングして実験を行う。
  論文  参考訳（メタデータ） (2021-12-07T03:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。