論文の概要: Efficient and Interpretable Neural Networks Using Complex Lehmer Transform

• arxiv url: http://arxiv.org/abs/2501.15223v1
• Date: Sat, 25 Jan 2025 14:08:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:48.985073
• Title: Efficient and Interpretable Neural Networks Using Complex Lehmer Transform
• Title（参考訳）: 複素リーマー変換を用いた効率的・解釈可能なニューラルネットワーク
• Authors: Masoud Ataei, Xiaogang Wang,
• Abstract要約: 重み付きレーマー変換と呼ばれる新しい活性化関数を持つ効率的かつ解釈可能なニューラルネットワークを提案する。 実数値と複素数値の両方のリーマー活性化単位の数学的性質を解析する。 実験により,提案したニューラルネットワークがベンチマークデータセット上での競合精度を実現することを示す。
• 参考スコア（独自算出の注目度）: 11.095723123836965
• License:
• Abstract: We propose an efficient and interpretable neural network with a novel activation function called the weighted Lehmer transform. This new activation function enables adaptive feature selection and extends to the complex domain, capturing phase-sensitive and hierarchical relationships within data. Notably, it provides greater interpretability and transparency compared to existing machine learning models, facilitating a deeper understanding of its functionality and decision-making processes. We analyze the mathematical properties of both real-valued and complex-valued Lehmer activation units and demonstrate their applications in modeling nonlinear interactions. Empirical evaluations demonstrate that our proposed neural network achieves competitive accuracy on benchmark datasets with significantly improved computational efficiency. A single layer of real-valued or complex-valued Lehmer activation units is shown to deliver state-of-the-art performance, balancing efficiency with interpretability.
• Abstract（参考訳）: 重み付きレーマー変換と呼ばれる新しい活性化関数を持つ効率的かつ解釈可能なニューラルネットワークを提案する。 この新たなアクティベーション機能は、適応的な特徴選択を可能にし、データ内の位相感受性および階層的関係をキャプチャして、複雑なドメインに拡張する。 特に、既存の機械学習モデルと比較して、解釈可能性と透明性が向上し、その機能と意思決定プロセスのより深い理解を促進する。 実数値と複素数値の両方のレーマー活性化単位の数学的性質を解析し、それらの非線形相互作用のモデル化への応用を実証する。 実験により,提案したニューラルネットワークが,計算効率を大幅に向上したベンチマークデータセット上での競合精度を実現することを示す。 実数値または複素値のリーマーアクティベーションユニットの単一層は、最先端のパフォーマンスを提供し、効率と解釈可能性のバランスをとることが示されている。

関連論文リスト

• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• RepAct: The Re-parameterizable Adaptive Activation Function [31.238011686165596]
  RepActは、エッジデバイスの計算制限内で軽量ニューラルネットワークを最適化するための適応アクティベーション関数である。 画像分類や物体検出などのタスクで評価すると、RepActは従来のアクティベーション機能を上回った。
  論文  参考訳（メタデータ） (2024-06-28T08:25:45Z)
• The Local Interaction Basis: Identifying Computationally-Relevant and Sparsely Interacting Features in Neural Networks [0.0]
  Local Interaction Basisは、無関係なアクティベーションとインタラクションを取り除くことによって、計算的特徴を特定することを目的としている。 モジュラ付加モデルとCIFAR-10モデルにおけるLIBの有効性を評価する。 我々は、LIBはニューラルネットワークを解析するための有望な理論駆動型アプローチであるが、現在の形式では、大きな言語モデルには適用できないと結論付けた。
  論文  参考訳（メタデータ） (2024-05-17T17:27:19Z)
• Peridynamic Neural Operators: A Data-Driven Nonlocal Constitutive Model for Complex Material Responses [12.454290779121383]
  本研究では,データから非局所法則を学習するPNO(Peridynamic Neural Operator)と呼ばれる新しいニューラルネットワークアーキテクチャを提案する。 このニューラル作用素は、客観性と運動量バランス法則が自動的に保証される状態ベースペリダイナミックスという形でフォワードモデルを提供する。 複雑な応答をキャプチャする能力により、学習したニューラル演算子はベースラインモデルと比較して精度と効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-01-11T17:37:20Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Efficient Non-Local Contrastive Attention for Image Super-Resolution [48.093500219958834]
  非局所的注意(NLA)は、自然画像の内在的特徴相関を利用して、単一画像超解法(SISR)に大きな改善をもたらす。 本稿では,長期視覚モデリングを行い,より関連性の高い非局所的特徴を活用するための,効率的な非局所的コントラスト注意(ENLCA)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T05:59:09Z)
• Structure-Regularized Attention for Deformable Object Representation [17.120035855774344]
  文脈依存のキャプチャは、ディープニューラルネットワークの表現力を改善するのに有用であることが証明されている。 自己注意や非局所操作といったグローバルコンテキストのモデリングに焦点をあてた近年のアプローチは、要素間の制約のないペアワイズ相互作用を可能にすることで、この目標を達成する。 本稿では,データに固有の構造的依存関係をモデル化することにより,コンテキスト利用の恩恵を受けることができる変形可能なオブジェクトの学習表現について考察する。
  論文  参考訳（メタデータ） (2021-06-12T03:10:17Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。