論文の概要: Efficient Gravitational Wave Parameter Estimation via Knowledge Distillation: A ResNet1D-IAF Approach
- arxiv url: http://arxiv.org/abs/2412.08672v1
- Date: Wed, 11 Dec 2024 03:56:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-13 13:30:39.328436
- Title: Efficient Gravitational Wave Parameter Estimation via Knowledge Distillation: A ResNet1D-IAF Approach
- Title（参考訳）: 知識蒸留による効率的な重力波パラメータ推定:ResNet1D-IAFアプローチ
- Authors: Xihua Zhu, Yiqian Yang, Fan Zhang,
- Abstract要約: 本研究では,重力波解析における計算効率を高めるため,知識蒸留技術を用いた新しい手法を提案する。
我々はResNet1Dと逆自己回帰フロー(Inverse Autoregressive Flow, IAF)アーキテクチャを組み合わせたフレームワークを開発し、複雑な教師モデルからの知識をより軽い学生モデルに伝達する。
実験の結果,教師モデルの4.09と比較すると,学生モデルは最適構成(40,100,0.75)で3.70の検証損失を達成し,パラメータの数を43%削減した。
- 参考スコア（独自算出の注目度）: 2.4184866684341473
- License:
- Abstract: With the rapid development of gravitational wave astronomy, the increasing number of detected events necessitates efficient methods for parameter estimation and model updates. This study presents a novel approach using knowledge distillation techniques to enhance computational efficiency in gravitational wave analysis. We develop a framework combining ResNet1D and Inverse Autoregressive Flow (IAF) architectures, where knowledge from a complex teacher model is transferred to a lighter student model. Our experimental results show that the student model achieves a validation loss of 3.70 with optimal configuration (40,100,0.75), compared to the teacher model's 4.09, while reducing the number of parameters by 43\%. The Jensen-Shannon divergence between teacher and student models remains below 0.0001 across network layers, indicating successful knowledge transfer. By optimizing ResNet layers (7-16) and hidden features (70-120), we achieve a 35\% reduction in inference time while maintaining parameter estimation accuracy. This work demonstrates significant improvements in computational efficiency for gravitational wave data analysis, providing valuable insights for real-time event processing.
- Abstract（参考訳）: 重力波天文学の急速な発展に伴い、検出された事象の増加はパラメータ推定とモデル更新の効率的な方法を必要とする。
本研究では,重力波解析における計算効率を高めるため,知識蒸留技術を用いた新しい手法を提案する。
我々はResNet1Dと逆自己回帰フロー(Inverse Autoregressive Flow, IAF)アーキテクチャを組み合わせたフレームワークを開発し、複雑な教師モデルからの知識をより軽い学生モデルに伝達する。
実験の結果,教師モデルの4.09と比較すると,学生モデルは最適構成(40,100,0.75)で3.70の検証損失を達成し,パラメータ数を43\%削減した。
教師と生徒のモデル間のジェンセン=シャノンの分岐は、ネットワーク層全体で0.0001以下であり、知識伝達の成功を示している。
ResNetレイヤ(7-16)と隠蔽機能(7-120)を最適化することにより、パラメータ推定精度を維持しつつ、推論時間の35-%削減を実現する。
この研究は重力波データ解析における計算効率の大幅な改善を示し、リアルタイムイベント処理に有用な洞察を提供する。
関連論文リスト
- WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳（メタデータ） (2024-07-18T11:51:01Z) - Decomposing weather forecasting into advection and convection with neural networks [6.78786601630176]
本稿では,動的コアの水平移動と物理パラメータ化の垂直移動を別々に学習する,シンプルで効果的な機械学習モデルを提案する。
我々のモデルは、大気モデルにおける変数の遷移をシミュレートするための、新しく効率的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-10T16:46:32Z) - Sine Activated Low-Rank Matrices for Parameter Efficient Learning [25.12262017296922]
低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。
我々の手法は、視覚変換器(ViT)、Large Language Models(LLM)、NeRF(Neural Radiance Fields)において、既存の低ランクモデルの強化を証明している。
論文 参考訳（メタデータ） (2024-03-28T08:58:20Z) - HyCubE: Efficient Knowledge Hypergraph 3D Circular Convolutional Embedding [21.479738859698344]
モデルの有効性と効率のトレードオフに達するためには、知識ハイパーグラフの埋め込みが望ましいし、難しい。
本稿では,新しい3次元円形畳み込みニューラルネットワークを設計した,エンドツーエンドの知識ハイパーグラフ埋め込みモデルHyCubEを提案する。
提案手法は, 平均8.22%, 最大33.82%の改善により, 常に最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2024-02-14T06:05:37Z) - Towards a Smaller Student: Capacity Dynamic Distillation for Efficient
Image Retrieval [49.01637233471453]
従来の知識蒸留に基づく効率的な画像検索手法は,高速推論のための学生モデルとして軽量なネットワークを用いる。
本稿では,編集可能な表現能力を持つ学生モデルを構築するための容量動的蒸留フレームワークを提案する。
提案手法は,教師としてのResNet101を前提として,VeRi-776データセットなどの推論速度と精度が優れている。
論文 参考訳（メタデータ） (2023-03-16T11:09:22Z) - Dynamic Sparse Training via Balancing the Exploration-Exploitation
Trade-off [19.230329532065635]
スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。
既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。
本研究では,動的スパース学習をスパース接続探索問題として考察する。
実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
論文 参考訳（メタデータ） (2022-11-30T01:22:25Z) - Scaling & Shifting Your Features: A New Baseline for Efficient Model
Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。
そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文 参考訳（メタデータ） (2022-10-17T08:14:49Z) - Robust Learning via Persistency of Excitation [4.674053902991301]
勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。
極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。
我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
論文 参考訳（メタデータ） (2021-06-03T18:49:05Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-10-21T14:49:00Z) - Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。
最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。
現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。
まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
論文 参考訳（メタデータ） (2020-07-13T16:56:27Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。