論文の概要: SOSAE: Self-Organizing Sparse AutoEncoder

• arxiv url: http://arxiv.org/abs/2507.04644v1
• Date: Mon, 07 Jul 2025 03:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.271644
• Title: SOSAE: Self-Organizing Sparse AutoEncoder
• Title（参考訳）: SOSAE: 自己組織化スパースオートエンコーダ
• Authors: Sarthak Ketanbhai Modi, Zi Pong Lim, Yushi Cao, Yupeng Cheng, Yon Shin Teo, Shang-Wei Lin,
• Abstract要約: オートエンコーダ(SOSAE)の自己組織化正規化 物理学の概念に触発されたSOSAEは、構造化された方法で特徴空間に空間を誘導する。 様々なデータセットの実験により、SOSAEは最大130倍の浮動小数点演算(FLOP)を調整できることがわかった。
• 参考スコア（独自算出の注目度）: 1.8395181176356437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The process of tuning the size of the hidden layers for autoencoders has the benefit of providing optimally compressed representations for the input data. However, such hyper-parameter tuning process would take a lot of computation and time effort with grid search as the default option. In this paper, we introduce the Self-Organization Regularization for Autoencoders that dynamically adapts the dimensionality of the feature space to the optimal size. Inspired by physics concepts, Self-Organizing Sparse AutoEncoder (SOSAE) induces sparsity in feature space in a structured way that permits the truncation of the non-active part of the feature vector without any loss of information. This is done by penalizing the autoencoder based on the magnitude and the positional index of the feature vector dimensions, which during training constricts the feature space in both terms. Extensive experiments on various datasets show that our SOSAE can tune the feature space dimensionality up to 130 times lesser Floating-point Operations (FLOPs) than other baselines while maintaining the same quality of tuning and performance.
• Abstract（参考訳）: オートエンコーダのための隠蔽層のサイズを調整するプロセスは、入力データに対して最適に圧縮された表現を提供することの利点がある。 しかし、そのようなハイパーパラメータチューニングプロセスは、デフォルトオプションとしてグリッドサーチに多くの計算と時間を要するだろう。 本稿では,特徴空間の次元を最適サイズに動的に適応するオートエンコーダの自己組織化正規化を提案する。 SOSAE(Self-Organizing Sparse AutoEncoder、自己組織化スパースオートエンコーダ)は、情報を失うことなく特徴ベクトルの非活性部分の切り離しを可能にする構造的な方法で特徴空間のスパーシティを誘導する。 これは、特徴ベクトル次元の大きさと位置指数に基づいてオートエンコーダをペナライズすることで行われ、訓練中は両方の項で特徴空間を制限している。 様々なデータセットに対する大規模な実験により、SOSAEは、同じチューニングとパフォーマンスの質を維持しながら、Floating-point Operations(FLOPs)の最大130倍の精度で特徴空間をチューニングできることがわかった。

関連論文リスト

• Embedding-Free Transformer with Inference Spatial Reduction for Efficient Semantic Segmentation [15.377463849213033]
  EFAは、グローバルな非線型性の機能に焦点を当てた、新しいグローバルなコンテキストモデリングメカニズムである。 ISR法では,推論フェーズにおけるキー値の分解能を低減し,計算性能とトレードオフのギャップを軽減できる。 EDAFormerは、既存のトランスフォーマーベースのセマンティックセグメンテーションモデルと比較して、効率的な計算で最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-07-24T13:24:25Z)
• Rank Reduction Autoencoders [3.180674374101366]
  我々は、新しい決定論的オートエンコーダ、ランク削減オートエンコーダ(RRAE)を導入する。 RRAEでは、ボトルネックは潜在行列のランクによって定義され、これによりエンコーダ/デコーダアーキテクチャのボトルネックサイズへの依存性が軽減される。 RRAEとARRAEはどちらも安定し,スケーラブルで,信頼性が高いことを実証的に実証した。
  論文  参考訳（メタデータ） (2024-05-22T20:33:09Z)
• Adaptive Compression of the Latent Space in Variational Autoencoders [0.0]
  本稿では,トレーニング過程における最適潜時空間サイズを自動決定するためのVAEの簡易拡張について述べる。 提案手法の最終的な性能は,スクラッチから最適潜伏サイズのトレーニングに匹敵するものであり,便利な代替品として機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-12-11T10:35:31Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Stage-Aware Feature Alignment Network for Real-Time Semantic Segmentation of Street Scenes [59.81228011432776]
  街路シーンのリアルタイムなセマンティックセグメンテーションのためのSFANet(Stage-Aware Feature Alignment Network)を提案する。 デコーダにおける各ステージのユニークな役割を考慮に入れ、新しいステージ認識機能拡張ブロック(FEB)は、エンコーダからの特徴マップの空間的詳細と文脈的情報を強化するように設計されている。 実験の結果,提案したSFANetは,ストリートシーンのリアルタイムセマンティックセグメンテーションにおける精度と速度のバランスが良好であることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T11:46:41Z)
• Adaptive Machine Learning for Time-Varying Systems: Low Dimensional Latent Space Tuning [91.3755431537592]
  本稿では,時間変化システムを対象とした適応機械学習手法を提案する。 我々は,エンコーダデコーダCNNのエンコーダ部出力において,非常に高次元(N>100k)の入力を低次元(N2)潜在空間にマッピングする。 そこで本手法では,割り込みを伴わないフィードバックに基づいて,内部の相関関係を学習し,その進化をリアルタイムで追跡する。
  論文  参考訳（メタデータ） (2021-07-13T16:05:28Z)
• Adaptive Feature Selection for End-to-End Speech Translation [87.07211937607102]
  我々は、エンコーダデコーダに基づくE2E音声翻訳(ST)のための適応的特徴選択(AFS)を提案する。 まず、ASRエンコーダを事前訓練し、AFSを適用して各符号化音声特徴の重要性をSRに動的に推定する。 我々は、L0DROPをAFSのバックボーンとみなし、時間次元と特徴次元の両方に関して、音声特徴をスパース化するように適応する。
  論文  参考訳（メタデータ） (2020-10-16T17:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。