論文の概要: HEP-JEPA: A foundation model for collider physics using joint embedding predictive architecture
- arxiv url: http://arxiv.org/abs/2502.03933v1
- Date: Thu, 06 Feb 2025 10:16:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 14:29:24.334713
- Title: HEP-JEPA: A foundation model for collider physics using joint embedding predictive architecture
- Title（参考訳）: HEP-JEPA:ジョイント埋め込み予測アーキテクチャを用いたコライダー物理の基礎モデル
- Authors: Jai Bardhan, Radhikesh Agrawal, Abhiram Tilak, Cyrin Neeraj, Subhadip Mitra,
- Abstract要約: 本稿では,高エネルギー粒子衝突器におけるタスクに対するトランスフォーマーアーキテクチャに基づく基礎モデルを提案する。
我々は,ジョイント・エンベディング予測アーキテクチャにインスパイアされた自己監督型戦略を用いて,ジェット機を分類するモデルを訓練する。
我々のモデルは、標準分類ベンチマークタスクのための他のデータセットと相性がいい。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: We present a transformer architecture-based foundation model for tasks at high-energy particle colliders such as the Large Hadron Collider. We train the model to classify jets using a self-supervised strategy inspired by the Joint Embedding Predictive Architecture. We use the JetClass dataset containing 100M jets of various known particles to pre-train the model with a data-centric approach -- the model uses a fraction of the jet constituents as the context to predict the embeddings of the unseen target constituents. Our pre-trained model fares well with other datasets for standard classification benchmark tasks. We test our model on two additional downstream tasks: top tagging and differentiating light-quark jets from gluon jets. We also evaluate our model with task-specific metrics and baselines and compare it with state-of-the-art models in high-energy physics. Project site: https://hep-jepa.github.io/
- Abstract（参考訳）: 本稿では,大型ハドロン衝突型加速器のような高エネルギー粒子衝突器のタスクに対するトランスフォーマーアーキテクチャに基づく基礎モデルを提案する。
我々は,ジョイント・エンベディング予測アーキテクチャにインスパイアされた自己監督型戦略を用いて,ジェット機を分類するモデルを訓練する。
データ中心のアプローチでモデルを事前トレーニングするために、さまざまな既知の粒子の1億個のジェットを含むJetClassデータセットを使用します。
私たちの事前訓練されたモデルは、標準分類ベンチマークタスクのための他のデータセットと相性がいいです。
我々は、グルーオンジェットからトップタグ付けとライトクォークジェットを区別する2つの下流タスクで、我々のモデルを検証した。
また,タスク固有の指標とベースラインを用いてモデルを評価し,高エネルギー物理における最先端モデルと比較した。
プロジェクトサイト:https://hep-jepa.github.io/
関連論文リスト
- Aspen Open Jets: Unlocking LHC Data for Foundation Models in Particle Physics [0.5055815271772576]
我々は、CMS 2016 Open Dataから派生した約180Mの高額なp_T$ジェットからなるAspenOpenJetsデータセットを紹介した。
AspenOpenJets上でのOmniJet-$alpha$ファンデーションモデルの事前トレーニングにより、ドメインシフトの大きな生成タスクのパフォーマンスが向上することを示す。
実際の陽子-陽子衝突データに基づいて,ジェットベース基礎モデルの事前学習の能力を示すとともに,ML対応のAspenOpenJetsデータセットを一般向けに提供した。
論文 参考訳（メタデータ） (2024-12-13T19:00:03Z) - Decomposing and Editing Predictions by Modeling Model Computation [75.37535202884463]
コンポーネントモデリングというタスクを導入します。
コンポーネントモデリングの目標は、MLモデルの予測をコンポーネントの観点から分解することだ。
コンポーネント属性を推定するスケーラブルなアルゴリズムであるCOARを提案する。
論文 参考訳（メタデータ） (2024-04-17T16:28:08Z) - OmniJet-$α$: The first cross-task foundation model for particle physics [0.0]
ファンデーションモデルはマルチデータセットとマルチタスクの機械学習手法で、一度トレーニングされたら、様々なダウンストリームアプリケーションのために微調整できる。
我々は,この課題について,いくつかの点で大きな進展を報告している。
我々は、教師なし問題(ジェット世代)と教師なしタスク(ジェットタグ付け)の移行学習を、新しいOmniJet-$alpha$モデルで実証する。
論文 参考訳（メタデータ） (2024-03-08T19:00:01Z) - FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。
我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
論文 参考訳（メタデータ） (2023-12-13T18:28:09Z) - Flow Matching Beyond Kinematics: Generating Jets with Particle-ID and
Trajectory Displacement Information [0.0]
我々はJetClassデータセットでトレーニングされた最初の生成モデルを紹介する。
本モデルでは, 構成レベルでジェットを発生させ, 流れマッチング法でトレーニングした変分同変連続正規化流(CNF)である。
また,ジェット部品の運動特性を超越した生成モデルも導入した。
論文 参考訳（メタデータ） (2023-11-30T19:00:02Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - Particle Transformer for Jet Tagging [4.604003661048267]
ジェットタグのための新しい包括的データセットであるJetClassを提示する。
データセットは100Mジェットで構成され、既存の公開データセットよりも約2桁大きい。
我々は、ParT(Particle Transformer)と呼ばれるジェットタグのためのトランスフォーマーベースの新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-02-08T10:36:29Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳（メタデータ） (2021-02-04T14:26:42Z) - Object Rearrangement Using Learned Implicit Collision Functions [61.90305371998561]
本研究では,シーン内の6DOFオブジェクトのポーズに対して,シーンとクエリ対象点の雲を受け付け,衝突を予測できる学習的衝突モデルを提案する。
我々は,テーブルトップ再構成タスクにおけるモデル予測経路積分(MPPI)ポリシーの一部として,学習された衝突モデルを活用する。
学習モデルは従来のパイプラインよりも優れており、シミュレーションされた衝突クエリのデータセット上では9.8%の精度で学習精度が向上している。
論文 参考訳（メタデータ） (2020-11-21T05:36:06Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳（メタデータ） (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。