論文の概要: Masked Particle Modeling on Sets: Towards Self-Supervised High Energy
Physics Foundation Models
- arxiv url: http://arxiv.org/abs/2401.13537v2
- Date: Thu, 25 Jan 2024 16:44:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 11:32:55.782614
- Title: Masked Particle Modeling on Sets: Towards Self-Supervised High Energy
Physics Foundation Models
- Title(参考訳): 集合上のマスク粒子モデリング:自己教師付き高エネルギー物理学基礎モデルに向けて
- Authors: Lukas Heinrich and Tobias Golling and Michael Kagan and Samuel Klein
and Matthew Leigh and Margarita Osadchy and John Andrew Raine
- Abstract要約: Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。
本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
- 参考スコア(独自算出の注目度): 4.515623503184142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose masked particle modeling (MPM) as a self-supervised method for
learning generic, transferable, and reusable representations on unordered sets
of inputs for use in high energy physics (HEP) scientific data. This work
provides a novel scheme to perform masked modeling based pre-training to learn
permutation invariant functions on sets. More generally, this work provides a
step towards building large foundation models for HEP that can be generically
pre-trained with self-supervised learning and later fine-tuned for a variety of
down-stream tasks. In MPM, particles in a set are masked and the training
objective is to recover their identity, as defined by a discretized token
representation of a pre-trained vector quantized variational autoencoder. We
study the efficacy of the method in samples of high energy jets at collider
physics experiments, including studies on the impact of discretization,
permutation invariance, and ordering. We also study the fine-tuning capability
of the model, showing that it can be adapted to tasks such as supervised and
weakly supervised jet classification, and that the model can transfer
efficiently with small fine-tuning data sets to new classes and new data
domains.
- Abstract(参考訳): 本研究では,高エネルギー物理(HEP)科学データに用いた非順序入力の汎用的,転送可能,再利用可能な表現を自己指導的に学習する手法としてマスク粒子モデリング(MPM)を提案する。
この研究は、集合上の置換不変関数を学習するために、マスク付きモデリングに基づく事前学習を実行する新しいスキームを提供する。
より一般的に、この研究はhepの大規模な基礎モデルを構築するためのステップを提供しており、これは自己教師あり学習で一般的に事前学習され、後に様々なダウンストリームタスク用に微調整される。
MPMでは、予め訓練されたベクトル量子化変分オートエンコーダの離散化トークン表現によって定義されるように、集合内の粒子をマスクし、トレーニング目的がそれらのアイデンティティを回復することである。
衝突型加速器物理実験における高エネルギージェットの試料における方法の有効性について検討し, 離散化, 置換不変性, 秩序の影響について検討した。
また,モデルの微調整能力についても検討し,教師付きや弱い教師付きジェット分類などのタスクに適用可能であり,また,小さな微調整データセットを新しいクラスや新しいデータドメインに効率的に転送できることを示した。
関連論文リスト
- OmniJet-$\alpha$: The first cross-task foundation model for particle
physics [0.0]
ファンデーションモデルはマルチデータセットとマルチタスクの機械学習手法で、一度トレーニングされたら、様々なダウンストリームアプリケーションのために微調整できる。
我々は,この課題について,いくつかの点で大きな進展を報告している。
我々は、教師なし問題(ジェット世代)と教師なしタスク(ジェットタグ付け)の移行学習を、新しいOmniJet-$alpha$モデルで実証する。
論文 参考訳(メタデータ) (2024-03-08T19:00:01Z) - Self-Supervised Learning in Electron Microscopy: Towards a Foundation
Model for Advanced Image Analysis [0.0]
本稿では,自己教師付き事前学習が,下流タスクの高精度な微調整をいかに促進するかを示す。
我々は、電子顕微鏡の文脈において、下流の様々なタスクにまたがる自己教師型事前学習の汎用性を実証する。
論文 参考訳(メタデータ) (2024-02-28T12:25:01Z) - Quantum Generative Modeling of Sequential Data with Trainable Token
Embedding [0.0]
ボルンマシンとして知られる量子インスパイアされた生成モデルは、古典的および量子的データの学習において大きな進歩を見せている。
本稿では,MPSを同時に使用可能なトレーニング可能な量子計測演算子への埋め込み法を一般化する。
私たちの研究は、トレーニング可能な埋め込みと組み合わせることで、Bornマシンはより良いパフォーマンスを示し、データセットからより深い相関関係を学習できることを示した。
論文 参考訳(メタデータ) (2023-11-08T22:56:37Z) - Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-29T07:15:57Z) - Towards Foundation Models for Scientific Machine Learning:
Characterizing Scaling and Transfer Behavior [32.74388989649232]
我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。
これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
論文 参考訳(メタデータ) (2023-06-01T00:32:59Z) - Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。
我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
論文 参考訳(メタデータ) (2022-11-23T07:04:41Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Exploring Target Representations for Masked Autoencoders [78.57196600585462]
目的表現の注意深い選択は、よい表現を学ぶために不要であることを示す。
本研究では,多段階のマスク蒸留パイプラインを提案し,無作為なモデルを教師として利用する。
自己指導型自己指導法を非自明なマージンで上回り, 自己指導型教員(dBOT)によるマスク付き知識蒸留を行う手法を提案する。
論文 参考訳(メタデータ) (2022-09-08T16:55:19Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳(メタデータ) (2021-02-25T20:28:52Z) - Embedded-physics machine learning for coarse-graining and collective
variable discovery without data [3.222802562733787]
基礎となる物理を一貫して組み込む新しい学習フレームワークを提案する。
原子間力場の形で利用可能な物理学を完全に組み込んだ逆クルバック・リーブラー分岐に基づく新しい目的を提案する。
本研究は,バイモーダルポテンシャルエネルギー関数とアラニンジペプチドに対するCVの予測能力および物理的意義の観点からアルゴリズムの進歩を実証する。
論文 参考訳(メタデータ) (2020-02-24T10:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。