論文の概要: Adaptive Integrated Layered Attention (AILA)

• arxiv url: http://arxiv.org/abs/2503.22742v1
• Date: Wed, 26 Mar 2025 19:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:40:09.406039
• Title: Adaptive Integrated Layered Attention (AILA)
• Title（参考訳）: Adaptive Integrated Layered Attention (AILA)
• Authors: William Claster, Suhas KM, Dhairya Gundechia,
• Abstract要約: 本稿では,ニューラルネットワークアーキテクチャであるAdaptive Layered Integrated Attention (AILA)を提案する。 各種商品・指標の価格予測,CIFAR-10データセットを用いた画像認識,IMDB映画レビューデータセットの感情分析の3つの課題についてAILAを評価した。 その結果、AILAの適応層間接続は、複数のネットワーク深さで関連する特徴を柔軟に再利用することで、堅牢な利得が得られることを確認した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose Adaptive Integrated Layered Attention (AILA), a neural network architecture that combines dense skip connections with different mechanisms for adaptive feature reuse across network layers. We evaluate AILA on three challenging tasks: price forecasting for various commodities and indices (S&P 500, Gold, US dollar Futures, Coffee, Wheat), image recognition using the CIFAR-10 dataset, and sentiment analysis on the IMDB movie review dataset. In all cases, AILA matches strong deep learning baselines (LSTMs, Transformers, and ResNets), achieving it at a fraction of the training and inference time. Notably, we implement and test two versions of the model - AILA-Architecture 1, which uses simple linear layers as the connection mechanism between layers, and AILA-Architecture 2, which implements an attention mechanism to selectively focus on outputs from previous layers. Both architectures are applied in a single-task learning setting, with each model trained separately for individual tasks. Results confirm that AILA's adaptive inter-layer connections yield robust gains by flexibly reusing pertinent features at multiple network depths. The AILA approach thus presents an extension to existing architectures, improving long-range sequence modeling, image recognition with optimised computational speed, and SOTA classification performance in practice.
• Abstract（参考訳）: 本稿では,ニューラルネットワークアーキテクチャであるAdaptive Integrated Layered Attention (AILA)を提案する。 各種商品・指標の価格予測(S&P 500,ゴールド,US$ Futures,コーヒー,小麦)、CIFAR-10データセットを用いた画像認識、IMDB映画レビューデータセットの感情分析の3つの課題についてAILAを評価した。 いずれの場合も、AILAは強力なディープラーニングベースライン(LSTM、Transformer、ResNets)と一致し、トレーニングと推論時間のごく一部でそれを達成する。 特に、レイヤ間の接続メカニズムとして単純なリニアレイヤを使用するAILA-Architecture 1と、前のレイヤからの出力に選択的にフォーカスするアテンションメカニズムを実装するAILA-Architecture 2の2つのバージョンを実装し、テストする。 両方のアーキテクチャはシングルタスクの学習環境で適用され、各モデルは個別のタスクのために個別に訓練される。 その結果、AILAの適応層間接続は、複数のネットワーク深さで関連する特徴を柔軟に再利用することで、堅牢な利得が得られることを確認した。 これにより、AILAアプローチは既存のアーキテクチャを拡張し、長距離シーケンスモデリングの改善、最適化された計算速度による画像認識、実際のSOTA分類性能を向上する。

関連論文リスト

• Relax DARTS: Relaxing the Constraints of Differentiable Architecture Search for Eye Movement Recognition [9.905155497581815]
  眼球運動認識の分野にNASアルゴリズムを導入する。 Relax DARTSは、より効率的なネットワーク検索とトレーニングを実現するために、DARTSの改良である。 Relax DARTSは、他の多機能時間分類タスクへの適応性を示す。
  論文  参考訳（メタデータ） (2024-09-18T02:37:04Z)
• AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for Click-Through Rate Prediction [0.0]
  AdaEnsemble: 異種機能相互作用の専門家の強みを生かしたスパース・ゲート・ミックス・オブ・エキスパートアーキテクチャを提案する。 AdaEnsembleは、機能相互作用の深さを適応的に選択し、対応するSparseMoEスタック層を見つけて、予測を終了し、計算することができる。 提案したAdaEnsembleを実装し,実世界のデータセット上での性能を評価する。
  論文  参考訳（メタデータ） (2023-01-06T12:08:15Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Surrogate-assisted Multi-objective Neural Architecture Search for Real-time Semantic Segmentation [11.866947846619064]
  ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。 セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。 提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
  論文  参考訳（メタデータ） (2022-08-14T10:18:51Z)
• Neural Networks with A La Carte Selection of Activation Functions [0.0]
  活性化関数(AF)は、ニューラルネットワークの成功(または失敗)に重要な要素である。 多数の既知のAFをアーキテクチャの成功と組み合わせて、有益な3つの方法を提案しています。 本稿では,ReLU隠れユニットとソフトマックス出力ユニットからなる標準ネットワークと比較して,25の分類問題に対して,全ての手法が有意に優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-06-24T09:09:39Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and Residual Connections for Structure Preserving Object Classification [28.02302915971059]
  本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。 提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。 提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
  論文  参考訳（メタデータ） (2021-10-06T13:54:49Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Learning to Generate Content-Aware Dynamic Detectors [62.74209921174237]
  サンプル適応型モデルアーキテクチャを自動的に生成する効率的な検出器の設計を新たに導入する。 動的ルーティングの学習を導くために、オブジェクト検出に適したコースツーファインの成層図を紹介します。 MS-COCOデータセットの実験により、CADDetはバニラルーティングに比べて10%少ないFLOPで1.8以上のmAPを達成することが示された。
  論文  参考訳（メタデータ） (2020-12-08T08:05:20Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• AutoPose: Searching Multi-Scale Branch Aggregation for Pose Estimation [96.29533512606078]
  本稿では,新しいニューラルアーキテクチャサーチ(NAS)フレームワークであるAutoPoseを紹介する。 高精度で高解像度な2次元ポーズ推定に向けて、クロススケール接続の複数の並列ブランチを自動的に検出することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。