論文の概要: OmniJet-$α$: The first cross-task foundation model for particle physics

• arxiv url: http://arxiv.org/abs/2403.05618v2
• Date: Sat, 7 Sep 2024 11:17:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 03:12:39.457056
• Title: OmniJet-$α$: The first cross-task foundation model for particle physics
• Title（参考訳）: OmniJet-$α$:粒子物理学のための最初のクロスタスク基礎モデル
• Authors: Joschka Birk, Anna Hallin, Gregor Kasieczka,
• Abstract要約: ファンデーションモデルはマルチデータセットとマルチタスクの機械学習手法で、一度トレーニングされたら、様々なダウンストリームアプリケーションのために微調整できる。 我々は,この課題について,いくつかの点で大きな進展を報告している。 我々は、教師なし問題(ジェット世代)と教師なしタスク(ジェットタグ付け)の移行学習を、新しいOmniJet-$alpha$モデルで実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models are multi-dataset and multi-task machine learning methods that once pre-trained can be fine-tuned for a large variety of downstream applications. The successful development of such general-purpose models for physics data would be a major breakthrough as they could improve the achievable physics performance while at the same time drastically reduce the required amount of training time and data. We report significant progress on this challenge on several fronts. First, a comprehensive set of evaluation methods is introduced to judge the quality of an encoding from physics data into a representation suitable for the autoregressive generation of particle jets with transformer architectures (the common backbone of foundation models). These measures motivate the choice of a higher-fidelity tokenization compared to previous works. Finally, we demonstrate transfer learning between an unsupervised problem (jet generation) and a classic supervised task (jet tagging) with our new OmniJet-$\alpha$ model. This is the first successful transfer between two different and actively studied classes of tasks and constitutes a major step in the building of foundation models for particle physics.
• Abstract（参考訳）: ファンデーションモデルはマルチデータセットとマルチタスクの機械学習の手法で、一度トレーニングされた後、様々な下流アプリケーション向けに微調整できる。 このような物理データのための汎用モデルの開発が成功すれば、達成可能な物理性能を向上させると同時に、必要なトレーニング時間とデータを大幅に削減できるため、大きなブレークスルーとなるだろう。 いくつかの面でこの課題について大きな進展を報告します。 まず、物理データからの符号化の質を、トランスフォーマー構造を持つ粒子ジェットの自己回帰生成に適した表現(基礎モデルの共通バックボーン)に変換するための総合的な評価手法を提案する。 これらの尺度は、以前の作品と比較して高忠実度トークン化の選択を動機付けている。 最後に,新しいOmniJet-$\alpha$モデルを用いて,教師なし問題(ジェット生成)と教師なしタスク(ジェットタグ付け)の移行学習を実演する。 これは2つの異なる、そして活発に研究されたタスクのクラス間での移動が成功し、粒子物理学の基礎モデルの構築において大きなステップとなる。

関連論文リスト

• Open-Source High-Speed Flight Surrogate Modeling Framework [0.0]
  高速飛行車は音速よりもはるかに速く走行し、国防と宇宙探査に不可欠である。 様々な飛行条件下での行動の正確な予測は困難であり、しばしば高価である。 提案されたアプローチでは、より賢く、より効率的な機械学習モデルを作成する。
  論文  参考訳（メタデータ） (2024-11-06T01:34:06Z)
• Is Tokenization Needed for Masked Particle Modelling? [8.79008927474707]
  Masked Particle Modeling (MPM) は、無順序集合の表現表現を構築するための自己教師付き学習スキームである。 実装における非効率に対処し、より強力なデコーダを組み込むことにより、MPMを改善する。 これらの新しい手法は、ジェットの基礎モデルのための新しいテストベッドにおいて、オリジナルのMPMからのトークン化学習目標よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-19T09:12:29Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models [4.299997052226609]
  Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。 本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
  論文  参考訳（メタデータ） (2024-01-24T15:46:32Z)
• Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior [32.74388989649232]
  我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。 これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-06-01T00:32:59Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Which priors matter? Benchmarking models for learning latent dynamics [70.88999063639146]
  古典力学の先行概念を機械学習モデルに統合する手法が提案されている。 これらのモデルの現在の機能について、精査する。 連続的および時間的可逆的ダイナミクスの使用は、すべてのクラスのモデルに恩恵をもたらす。
  論文  参考訳（メタデータ） (2021-11-09T23:48:21Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。