論文の概要: Differentiable Earth Mover's Distance for Data Compression at the
High-Luminosity LHC
- arxiv url: http://arxiv.org/abs/2306.04712v3
- Date: Fri, 29 Dec 2023 14:26:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 02:20:20.927983
- Title: Differentiable Earth Mover's Distance for Data Compression at the
High-Luminosity LHC
- Title(参考訳): 高輝度LHCにおけるデータ圧縮のための地球モーバー距離の微分
- Authors: Rohan Shenoy and Javier Duarte and Christian Herwig and James
Hirschauer and Daniel Noonan and Maurizio Pierini and Nhan Tran and Cristina
Mantilla Suarez
- Abstract要約: 我々は、地球移動者の距離の微分可能かつ高速な近似を学習するために、畳み込みニューラルネットワーク(CNN)を訓練する。
我々は、高輝度CERNにおけるデータ圧縮のために、オートエンコーダにインスパイアされたニューラルネットワーク(エンコーダNN)のトレーニングにこの微分近似を適用した。
そこで本研究では,CNN を用いて訓練したエンコーダ NN の性能が,平均二乗誤差に基づく損失関数付きトレーニングよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 1.8355959631840502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Earth mover's distance (EMD) is a useful metric for image recognition and
classification, but its usual implementations are not differentiable or too
slow to be used as a loss function for training other algorithms via gradient
descent. In this paper, we train a convolutional neural network (CNN) to learn
a differentiable, fast approximation of the EMD and demonstrate that it can be
used as a substitute for computing-intensive EMD implementations. We apply this
differentiable approximation in the training of an autoencoder-inspired neural
network (encoder NN) for data compression at the high-luminosity LHC at CERN.
The goal of this encoder NN is to compress the data while preserving the
information related to the distribution of energy deposits in particle
detectors. We demonstrate that the performance of our encoder NN trained using
the differentiable EMD CNN surpasses that of training with loss functions based
on mean squared error.
- Abstract(参考訳): 地球移動器距離(Earth mover's distance、EMD)は画像認識と分類に有用な指標であるが、通常の実装は微分可能ではなく、勾配降下による他のアルゴリズムを訓練するための損失関数として使うには遅すぎる。
本稿では,畳み込みニューラルネットワーク(CNN)を用いて,EMDの微分可能かつ高速な近似を学習し,計算集約型EMD実装の代替として使用できることを示す。
この微分可能な近似を、cernの高輝度lhcにおけるデータ圧縮のためのautoencoder-inspired neural network(encoder nn)のトレーニングに適用する。
このエンコーダNNの目標は、粒子検出器内のエネルギー蓄積の分布に関する情報を保存しながらデータを圧縮することである。
EMD CNNを用いて訓練したエンコーダNNの性能が平均二乗誤差に基づく損失関数付きトレーニングよりも優れていることを示す。
関連論文リスト
- Dynamic Semantic Compression for CNN Inference in Multi-access Edge
Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。
セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
論文 参考訳(メタデータ) (2024-01-19T15:19:47Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Deep Spatiotemporal Clustering: A Temporal Clustering Approach for
Multi-dimensional Climate Data [0.353122873734926]
教師なし深層学習法を用いて,データの高次元時間表現のための新しいアルゴリズムを提案する。
U-netアーキテクチャにインスパイアされたアルゴリズムでは,CNN-RNN層を統合したオートエンコーダを用いて潜在表現を学習する。
実験の結果,従来のクラスタリングアルゴリズムと深層学習に基づくクラスタリングアルゴリズムのどちらよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-04-27T21:45:21Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳(メタデータ) (2022-11-24T18:10:01Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method [0.0]
畳み込みニューラルネットワーク(CNN)は、オブジェクト認識と検出の潜在的アプローチである。
畳み込み操作の代替として,アダマール変換に基づく新しいアプローチを示す。
この方法は、入力画像サイズよりもカーネルサイズが小さい場合、他のコンピュータビジョンタスクに役立ちます。
論文 参考訳(メタデータ) (2022-09-06T21:36:57Z) - DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。
次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。
また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
論文 参考訳(メタデータ) (2022-03-11T01:32:03Z) - Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。
粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
論文 参考訳(メタデータ) (2021-05-08T03:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。