論文の概要: Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network

• arxiv url: http://arxiv.org/abs/2608.14636v1
• Date: Tue, 28 Jul 2026 08:31:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.928505
• Title: Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network
• Title（参考訳）: フラクタル活性化関数を用いたフラクタル最適化 : ニューラルネットワークにおけるマルチスケール最適化の実証的研究
• Abstract要約: フラクタル最適化とフラクタルアクティベーション機能は、ニューラルネットワークトレーニングを改善するための2つの独立した方向である。 本稿では,統合実験フレームワークにおける相互作用について検討する。 全体として、分数最適化とフラクタルアクティベーションは有用だが選択的なペアリングを示す。
• 参考スコア（独自算出の注目度）: 2.870762512009437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fractional optimization methods and fractal activation functions are two independent directions for improving neural network training. Fractional optimizers extend first-order optimization through fractional derivatives and memory effects, whereas fractal activations introduce multi-scale nonlinear representations based on self-similar Weierstrass- and Blancmange-type functions. Here, we investigate their interaction within a unified experimental framework. We evaluate fractional optimizer families on Ackley and Himmelblau benchmark surfaces, in standard form and with additive Weierstrass-type perturbations, and then in feed-forward neural networks with conventional and fractal activations on ten classification datasets. The comparison includes standard methods, regularization-style optimizers, explicit and adaptive memory-based fractional optimizers, and other representative literature methods. Overall, fractional optimization and fractal activations show useful but selective pairings. Regularization-style fractional scaling performs well with selected fractal activations in network training, while Grünwald--Letnikov memory is most relevant on perturbed surfaces. Adaptive memory improves plain memory substitution in several cases, supporting controlled fractional memory as a promising direction rather than a universal replacement.
• Abstract（参考訳）: フラクタル最適化法とフラクタルアクティベーション関数は、ニューラルネットワークトレーニングを改善するための2つの独立した方向である。 フラクタルオプティマイザは分数微分とメモリ効果によって一階最適化を拡張し、フラクタルアクティベーションは自己相似ワイエルシュトラス関数とブランクマンジュ型関数に基づく多階非線形表現を導入する。 本稿では,統合実験フレームワークにおける相互作用について検討する。 Ackley および Himmelblau ベンチマーク表面上の分数オプティマイザ群を標準形状および付加的なWeierstrass 型摂動を用いて評価し,その後,従来の10種類の分類データセット上でのフラクタル・アクティベーションを伴うフィードフォワードニューラルネットワークにおいて評価した。 この比較には、標準的な方法、正規化スタイルのオプティマイザ、明示的で適応的なメモリベースの分数オプティマイザ、その他の代表的な文献メソッドが含まれる。 全体として、分数最適化とフラクタルアクティベーションは有用だが選択的なペアリングを示す。 正規化スタイルの分数スケーリングは、ネットワークトレーニングにおいて選択されたフラクタルアクティベーションと良好に機能する一方、Grünwald--Letnikovメモリは摂動面に最も関係がある。 アダプティブメモリは、いくつかのケースで通常のメモリ置換を改善し、制御された分数メモリを普遍的な置換ではなく有望な方向としてサポートする。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• SMMF: Square-Matricized Momentum Factorization for Memory-Efficient Optimization [0.5755004576310332]
  SMMFはAdamのような広く使われている適応学習率Matrixのメモリ要求を最大96%削減するメモリ効率である。 本研究では,SMMF の残差解析を行い,AdamNC などの非メモリ効率適応学習率 Matrix と同様に収束することを示す。 我々の実験では、SMMFは、Adafactor、CAME、SM3といった最先端のメモリ効率と比較して最大96%のメモリを消費し、同等のモデル性能を実現している。
  論文  参考訳（メタデータ） (2024-12-12T03:14:50Z)
• SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization [22.888876901031043]
  ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。 群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。 我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
  論文  参考訳（メタデータ） (2024-02-27T21:42:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Identifying Equivalent Training Dynamics [3.793387630509845]
  共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。 クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
  論文  参考訳（メタデータ） (2023-02-17T22:15:20Z)
• Lifted Bregman Training of Neural Networks [28.03724379169264]
  本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。 この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
  論文  参考訳（メタデータ） (2022-08-18T11:12:52Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Fourier Representations for Black-Box Optimization over Categorical Variables [34.0277529502051]
  そこで本研究では,ブラックボックス評価のためのサロゲートモデルと組み合わせた既存手法を提案する。 このような表現を学習するために、サロゲートモデルを更新するための2つの異なる設定を検討する。 合成ベンチマークと実世界のRNA配列最適化および設計問題の数値実験により,提案手法の表現力を示す。
  論文  参考訳（メタデータ） (2022-02-08T08:14:58Z)
• Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix [57.11971786407279]
  マルチビュースペクトルクラスタリングは、データ間の固有のクラスタ構造を効果的に明らかにすることができる。 本稿では,高次最適近傍ラプラシア行列を学習するマルチビュースペクトルクラスタリングアルゴリズムを提案する。 提案アルゴリズムは, 1次ベースと高次ベースの両方の線形結合の近傍を探索し, 最適ラプラシア行列を生成する。
  論文  参考訳（メタデータ） (2020-08-31T12:28:40Z)
• A Coupled Manifold Optimization Framework to Jointly Model the Functional Connectomics and Behavioral Data Spaces [5.382679710017696]
  本稿では,コホートに共通する低次元行列多様体にfMRIデータを投影する結合多様体最適化フレームワークを提案する。 患者固有の負荷は、同時に第2の非線形多様体を介して、興味の行動尺度にマップされる。 自閉症スペクトラム障害58例の安静時fMRIの枠組みを検証した。
  論文  参考訳（メタデータ） (2020-07-03T20:12:51Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。