論文の概要: Application of Structured State Space Models to High energy physics with locality-sensitive hashing

• arxiv url: http://arxiv.org/abs/2501.16237v1
• Date: Mon, 27 Jan 2025 17:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:13.625781
• Title: Application of Structured State Space Models to High energy physics with locality-sensitive hashing
• Title（参考訳）: 局所性に敏感なハッシュを用いた高エネルギー物理への構造化状態空間モデルの適用
• Authors: Cheng Jiang, Sitian Qian,
• Abstract要約: 局所性に敏感なハッシュをハイブリッドあるいは純粋なマンバモデルに統合することを提案する。 局所性に敏感なハッシュをMambaブロックに統合することにより、主要なHEPタスクにおける従来のバックボーンよりも大幅に改善される。
• 参考スコア（独自算出の注目度）: 2.0961523925637633
• License:
• Abstract: Modern high-energy physics (HEP) experiments are increasingly challenged by the vast size and complexity of their datasets, particularly regarding large-scale point cloud processing and long sequences. In this study, to address these challenges, we explore the application of structured state space models (SSMs), proposing one of the first trials to integrate local-sensitive hashing into either a hybrid or pure Mamba Model. Our results demonstrate that pure SSMs could serve as powerful backbones for HEP problems involving tasks for long sequence data with local inductive bias. By integrating locality-sensitive hashing into Mamba blocks, we achieve significant improvements over traditional backbones in key HEP tasks, surpassing them in inference speed and physics metrics while reducing computational overhead. In key tests, our approach demonstrated promising results, presenting a viable alternative to traditional transformer backbones by significantly reducing FLOPS while maintaining robust performance.
• Abstract（参考訳）: 現代の高エネルギー物理(HEP)実験は、データセットの巨大なサイズと複雑さ、特に大規模ポイントクラウド処理と長いシーケンスによってますます困難になってきている。 本研究では,これらの課題に対処するため,構造化状態空間モデル (Structured State Space Model, SSM) の適用について検討し, 局所感応ハッシュをハイブリッドモデルあるいは純粋なマンバモデルに統合するための最初の試みの1つを提案する。 以上の結果から, 局所帰納バイアスを伴う長周期データのタスクを含むHEP問題のバックボーンとして, 純粋なSSMが有効であることが示唆された。 局所性に敏感なハッシュをMambaブロックに組み込むことで、主要なHEPタスクにおける従来のバックボーンよりも大幅に改善され、計算オーバーヘッドを低減しつつ、推論速度や物理メトリクスを上回ります。 キーテストでは,FLOPSを大幅に低減し,頑健な性能を維持しつつ,従来のトランスフォーマーバックボーンに代わる有効な代替手段を提示し,有望な結果を示した。

関連論文リスト

• HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
  効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。 これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。 本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。 また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
  我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。 FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。 そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
  論文  参考訳（メタデータ） (2024-05-16T05:20:47Z)
• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics [11.182510067821745]
  本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。 本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。 大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
  論文  参考訳（メタデータ） (2024-02-19T20:48:09Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• Ensembles of Compact, Region-specific & Regularized Spiking Neural Networks for Scalable Place Recognition [25.0834855255728]
  スパイクニューラルネットワークは、特殊なハードウェア上での高エネルギー効率のため、ロボット工学において大きな可能性を秘めている。 本稿では,コンパクトで局所的なスパイクネットワークを学習するモジュール型アンサンブルネットワーク手法を提案する。 デプロイ時にグローバルな正規化の欠如が、学習領域外の場所に対して誤って反応する過活動ニューロンに繋がる、高性能なコストが伴う。 我々は、標準技術であるNetVLAD、DenseVLAD、SADとの比較を行い、ベンチマークローカライゼーションデータセットに基づく新しいスケーラブルなモジュラーシステムの評価を行った。
  論文  参考訳（メタデータ） (2022-09-19T02:47:48Z)
• Variational learning of quantum ground states on spiking neuromorphic hardware [0.0]
  高次元サンプリング空間と過渡自己相関は、難しい計算ボトルネックを伴うニューラルネットワークに直面する。 従来のニューラルネットワークと比較して、物理モデルデバイスは高速で効率的で本質的に並列な基板を提供する。 変動エネルギー最小化による量子スピンモデルの基底状態を表すニューロモルフィックチップの能力を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:39:45Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。