論文の概要: Application of Structured State Space Models to High energy physics with locality-sensitive hashing

• arxiv url: http://arxiv.org/abs/2501.16237v1
• Date: Mon, 27 Jan 2025 17:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 21:57:04.018836
• Title: Application of Structured State Space Models to High energy physics with locality-sensitive hashing
• Title（参考訳）: 局所性に敏感なハッシュを用いた高エネルギー物理への構造化状態空間モデルの適用
• Authors: Cheng Jiang, Sitian Qian,
• Abstract要約: 局所性に敏感なハッシュをハイブリッドあるいは純粋なマンバモデルに統合することを提案する。 局所性に敏感なハッシュをMambaブロックに統合することにより、主要なHEPタスクにおける従来のバックボーンよりも大幅に改善される。
• 参考スコア（独自算出の注目度）: 2.0961523925637633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern high-energy physics (HEP) experiments are increasingly challenged by the vast size and complexity of their datasets, particularly regarding large-scale point cloud processing and long sequences. In this study, to address these challenges, we explore the application of structured state space models (SSMs), proposing one of the first trials to integrate local-sensitive hashing into either a hybrid or pure Mamba Model. Our results demonstrate that pure SSMs could serve as powerful backbones for HEP problems involving tasks for long sequence data with local inductive bias. By integrating locality-sensitive hashing into Mamba blocks, we achieve significant improvements over traditional backbones in key HEP tasks, surpassing them in inference speed and physics metrics while reducing computational overhead. In key tests, our approach demonstrated promising results, presenting a viable alternative to traditional transformer backbones by significantly reducing FLOPS while maintaining robust performance.
• Abstract（参考訳）: 現代の高エネルギー物理(HEP)実験は、データセットの巨大なサイズと複雑さ、特に大規模ポイントクラウド処理と長いシーケンスによってますます困難になってきている。 本研究では,これらの課題に対処するため,構造化状態空間モデル (Structured State Space Model, SSM) の適用について検討し, 局所感応ハッシュをハイブリッドモデルあるいは純粋なマンバモデルに統合するための最初の試みの1つを提案する。 以上の結果から, 局所帰納バイアスを伴う長周期データのタスクを含むHEP問題のバックボーンとして, 純粋なSSMが有効であることが示唆された。 局所性に敏感なハッシュをMambaブロックに組み込むことで、主要なHEPタスクにおける従来のバックボーンよりも大幅に改善され、計算オーバーヘッドを低減しつつ、推論速度や物理メトリクスを上回ります。 キーテストでは,FLOPSを大幅に低減し,頑健な性能を維持しつつ,従来のトランスフォーマーバックボーンに代わる有効な代替手段を提示し,有望な結果を示した。

関連論文リスト

• ACMamba: Fast Unsupervised Anomaly Detection via An Asymmetrical Consensus State Space Model [51.83639270669481]
  ハイパースペクトル画像(HSI)における教師なし異常検出は、背景から未知のターゲットを検出することを目的としている。 HSI研究は、HSIの高次元特性と高密度サンプリングベーストレーニングパラダイムにより、計算コストの急激さによって妨げられている。 計算コストを大幅に削減する非対称コンセンサス状態空間モデル(ACMamba)を提案する。
  論文  参考訳（メタデータ） (2025-04-16T05:33:42Z)
• Efficient optimization of neural network backflow for ab-initio quantum chemistry [0.0]
  第2量子化量子化学ハミルトニアンの基底状態は、分子特性を決定する鍵となる。 本研究では,コンパクトな部分空間構築,ゆがんだ局所エネルギー評価,サンプリングの改善,物理インフォームド修正を含む,これらの波動関数を最適化するための改良を開発した。 アブレーション研究は、各エンハンスメントの寄与を強調し、エネルギーの精度と計算効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-26T05:31:08Z)
• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
  効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。 これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。 本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。 また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
  我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。 FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。 そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
  論文  参考訳（メタデータ） (2024-05-16T05:20:47Z)
• Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics [11.182510067821745]
  本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。 本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。 大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
  論文  参考訳（メタデータ） (2024-02-19T20:48:09Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Spintronics for image recognition: performance benchmarking via ultrafast data-driven simulations [4.2412715094420665]
  単一スピントロニクスナノ構造を用いたエコー状態ネットワーク(ESN)による画像分類の実証を行った。 我々は、STVO力学をシミュレートするために、データ駆動型Thiele方程式アプローチと呼ばれる超高速なデータ駆動シミュレーションフレームワークを用いる。 我々は、MNIST、EMNIST-letters、Fashion MNISTデータセットで分類課題を解決するために、この手法をうまく適用することで、ソリューションの汎用性を示す。
  論文  参考訳（メタデータ） (2023-08-10T18:09:44Z)
• Robust Model-Based Optimization for Challenging Fitness Landscapes [96.63655543085258]
  タンパク質の設計には、フィットネスのランドスケープの最適化が含まれる。 指導法は, トレーニングセットにおける高適合度サンプルの多彩さに課題を呈する。 デザイン空間における「分離」というこの問題は、既存のモデルベース最適化ツールにおいて重大なボトルネックとなっていることを示す。 本稿では,新しいVAEを検索モデルとして利用して問題を克服する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:47:32Z)
• Ensembles of Compact, Region-specific & Regularized Spiking Neural Networks for Scalable Place Recognition [25.0834855255728]
  スパイクニューラルネットワークは、特殊なハードウェア上での高エネルギー効率のため、ロボット工学において大きな可能性を秘めている。 本稿では,コンパクトで局所的なスパイクネットワークを学習するモジュール型アンサンブルネットワーク手法を提案する。 デプロイ時にグローバルな正規化の欠如が、学習領域外の場所に対して誤って反応する過活動ニューロンに繋がる、高性能なコストが伴う。 我々は、標準技術であるNetVLAD、DenseVLAD、SADとの比較を行い、ベンチマークローカライゼーションデータセットに基づく新しいスケーラブルなモジュラーシステムの評価を行った。
  論文  参考訳（メタデータ） (2022-09-19T02:47:48Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。