論文の概要: Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models

• arxiv url: http://arxiv.org/abs/2401.13537v3
• Date: Thu, 11 Jul 2024 11:55:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 23:17:39.786170
• Title: Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models
• Title（参考訳）: 集合上のマスケプ粒子モデリング:自己超越した高エネルギー物理基礎モデルに向けて
• Authors: Tobias Golling, Lukas Heinrich, Michael Kagan, Samuel Klein, Matthew Leigh, Margarita Osadchy, John Andrew Raine,
• Abstract要約: Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。 本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
• 参考スコア（独自算出の注目度）: 4.299997052226609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose masked particle modeling (MPM) as a self-supervised method for learning generic, transferable, and reusable representations on unordered sets of inputs for use in high energy physics (HEP) scientific data. This work provides a novel scheme to perform masked modeling based pre-training to learn permutation invariant functions on sets. More generally, this work provides a step towards building large foundation models for HEP that can be generically pre-trained with self-supervised learning and later fine-tuned for a variety of down-stream tasks. In MPM, particles in a set are masked and the training objective is to recover their identity, as defined by a discretized token representation of a pre-trained vector quantized variational autoencoder. We study the efficacy of the method in samples of high energy jets at collider physics experiments, including studies on the impact of discretization, permutation invariance, and ordering. We also study the fine-tuning capability of the model, showing that it can be adapted to tasks such as supervised and weakly supervised jet classification, and that the model can transfer efficiently with small fine-tuning data sets to new classes and new data domains.
• Abstract（参考訳）: 本研究では,高エネルギー物理(HEP)科学データに用いた非順序入力の汎用的,転送可能,再利用可能な表現を自己指導的に学習する手法として,マスク粒子モデリング(MPM)を提案する。 この研究は、集合上の置換不変関数を学習するために、マスク付きモデリングに基づく事前学習を実行する新しいスキームを提供する。 より一般的に、この研究は、HEPのための大規模な基礎モデルを構築するためのステップを提供する。 MPMでは、予め訓練されたベクトル量子化変分オートエンコーダの離散化トークン表現によって定義されるように、集合内の粒子をマスクし、トレーニング目的がそれらのアイデンティティを回復することである。 本研究では,コライダー物理実験における高エネルギージェットの試料における方法の有効性について検討し,離散化の影響,変分不変性,順序付けなどについて検討した。 また,モデルの微調整能力について検討し,教師付きジェット分類や弱教師付きジェット分類などのタスクに適応可能であること,また,小型の微調整データセットを新しいクラスや新しいデータドメインに効率よく移行できること,などを示した。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Generative Modeling of Molecular Dynamics Trajectories [12.255021091552441]
  データからMDの柔軟なマルチタスクサロゲートモデルを学ぶためのパラダイムとして,分子軌道の生成モデルを提案する。 このような生成モデルは,前方シミュレーションや遷移経路サンプリング,軌道上アップサンプリングといった多様なタスクに適応可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-26T13:02:28Z)
• Is Tokenization Needed for Masked Particle Modelling? [8.79008927474707]
  Masked Particle Modeling (MPM) は、無順序集合の表現表現を構築するための自己教師付き学習スキームである。 実装における非効率に対処し、より強力なデコーダを組み込むことにより、MPMを改善する。 これらの新しい手法は、ジェットの基礎モデルのための新しいテストベッドにおいて、オリジナルのMPMからのトークン化学習目標よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-19T09:12:29Z)
• Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders [2.0701439270461184]
  事前学習された生成分子設計モデルにとって重要な課題は、下流の設計タスクに適するように微調整することである。 本研究では,生成不確実性デコーダ(VAE)に基づくGMDモデルに対して,アクティブな環境下での性能フィードバックによる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-31T02:00:25Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Quantum Generative Modeling of Sequential Data with Trainable Token Embedding [0.0]
  ボルンマシンとして知られる量子インスパイアされた生成モデルは、古典的および量子的データの学習において大きな進歩を見せている。 本稿では,MPSを同時に使用可能なトレーニング可能な量子計測演算子への埋め込み法を一般化する。 私たちの研究は、トレーニング可能な埋め込みと組み合わせることで、Bornマシンはより良いパフォーマンスを示し、データセットからより深い相関関係を学習できることを示した。
  論文  参考訳（メタデータ） (2023-11-08T22:56:37Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)
• Embedded-physics machine learning for coarse-graining and collective variable discovery without data [3.222802562733787]
  基礎となる物理を一貫して組み込む新しい学習フレームワークを提案する。 原子間力場の形で利用可能な物理学を完全に組み込んだ逆クルバック・リーブラー分岐に基づく新しい目的を提案する。 本研究は,バイモーダルポテンシャルエネルギー関数とアラニンジペプチドに対するCVの予測能力および物理的意義の観点からアルゴリズムの進歩を実証する。
  論文  参考訳（メタデータ） (2020-02-24T10:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。