論文の概要: Efficient-Husformer: Efficient Multimodal Transformer Hyperparameter Optimization for Stress and Cognitive Loads

• arxiv url: http://arxiv.org/abs/2511.22362v1
• Date: Thu, 27 Nov 2025 12:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.545942
• Title: Efficient-Husformer: Efficient Multimodal Transformer Hyperparameter Optimization for Stress and Cognitive Loads
• Title（参考訳）: 効率的なHusformer: ストレスと認知負荷に対する効率的なマルチモーダル変圧器ハイパーパラメータ最適化
• Authors: Merey Orazaly, Fariza Temirkhanova, Jurn-Gyu Park,
• Abstract要約: トランスフォーマーに基づくモデルは生理的信号解析の分野で大きな注目を集めている。 時間的信号の長距離依存性や複雑なパターンを活用することで、従来のRNNやCNNモデルよりも優れたパフォーマンスを実現することができる。 マルチクラスストレス検出のためのトランスフォーマーベースアーキテクチャであるEfficient-Husformerを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models have gained considerable attention in the field of physiological signal analysis. They leverage long-range dependencies and complex patterns in temporal signals, allowing them to achieve performance superior to traditional RNN and CNN models. However, they require high computational intensity and memory demands. In this work, we present Efficient-Husformer, a novel Transformer-based architecture developed with hyperparameter optimization (HPO) for multi-class stress detection across two multimodal physiological datasets (WESAD and CogLoad). The main contributions of this work are: (1) the design of a structured search space, targeting effective hyperparameter optimization; (2) a comprehensive ablation study evaluating the impact of architectural decisions; (3) consistent performance improvements over the original Husformer, with the best configuration achieving an accuracy of 88.41 and 92.61 (improvements of 13.83% and 6.98%) on WESAD and CogLoad datasets, respectively. The best-performing configuration is achieved with the (L + dm) or (L + FFN) modality combinations, using a single layer, 3 attention heads, a model dimension of 18/30, and FFN dimension of 120/30, resulting in a compact model with only about 30k parameters.
• Abstract（参考訳）: トランスフォーマーに基づくモデルは生理的信号解析の分野で大きな注目を集めている。 時間的信号の長距離依存性や複雑なパターンを活用することで、従来のRNNやCNNモデルよりも優れたパフォーマンスを実現することができる。 しかし、高い計算強度とメモリ要求が要求される。 本稿では,2つのマルチモーダル生理的データセット(WESADとCogLoad)をまたいだマルチクラスストレス検出のために,ハイパーパラメータ最適化(HPO)を用いたトランスフォーマーに基づく新しいアーキテクチャであるEfficient-Husformerを提案する。 本研究の主な貢献は,(1) 効果的なハイパーパラメータ最適化を目的とした構造化検索空間の設計,(2) アーキテクチャ決定の影響を評価する総合的アブレーション研究,(3) WESAD と CogLoad のデータセットに対する 88.41 と 92.61 (改善率 13.83% と 6.98%) の精度を達成した元の Husformer に対する一貫した性能改善,などである。 最も優れた構成は (L + dm) または (L + FFN) のモダリティの組み合わせで達成され、単一の層、3つのアテンションヘッド、モデル次元18/30、FFN次元120/30を用いて、約30kのパラメータしか持たないコンパクトモデルとなる。

関連論文リスト

• FORTRESS: Function-composition Optimized Real-Time Resilient Structural Segmentation via Kolmogorov-Arnold Enhanced Spatial Attention Networks [1.663204995903499]
  FORTRESS (Function-composition Optimized Real-Time Resilient Structure) は、特別な手法を用いて精度と速度のバランスをとる新しいアーキテクチャである。 Fortressには,系統的に分離可能な畳み込みフレームワーク,適応型TiKAN統合,マルチスケールアテンション融合という,3つの重要なイノベーションが含まれている。 このアーキテクチャは 91% のパラメータ還元 (31M から 2.9M) 、91% の計算複雑性低減 (13.7 から 1.17 GFLOPs) 、および 3倍の推論速度向上によって、顕著な効率向上を実現している。
  論文  参考訳（メタデータ） (2025-07-16T23:17:58Z)
• Finding Optimal Kernel Size and Dimension in Convolutional Neural Networks An Architecture Optimization Approach [0.0]
  畳み込みニューラルネットワーク(CNN)におけるカーネルサイズ選択は批判的だが、しばしば見過ごされる設計決定である。 本稿では,最適なカーネルサイズ決定のためのBKSEF(Best Kernel Size Estimation)を提案する。 BKSEFは情報理論、信号処理、学習理論の原理を統合することで、情報ゲイン、計算効率、精度の向上のバランスをとる。
  論文  参考訳（メタデータ） (2025-06-16T15:15:30Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization [18.00873866263434]
  微調整された大きな言語モデル(LLM)は、大きなメモリ問題を引き起こす。 最近の研究であるMeZOは、ゼロ階最適化法(ZO)を用いてこの問題に対処している。 HELENEは、スケーラブルでメモリ効率の良い新しいプレコンディショナーである。
  論文  参考訳（メタデータ） (2024-11-16T04:27:22Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Augmentations: An Insight into their Effectiveness on Convolution Neural Networks [0.0]
  モデルの堅牢性を高める能力は、viz-a-viz、モデルアーキテクチャ、拡張のタイプという2つの要因に依存します。 本稿では,3x3および奥行き分離可能な畳み込みを用いたパラメータが,異なる拡張手法に与える影響について検討する。
  論文  参考訳（メタデータ） (2022-05-09T06:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。