論文の概要: SuperJEPA: Pretraining with a Supervision-Augmented Joint-Embedding Predictive Architecture for High Energy Physics

• arxiv url: http://arxiv.org/abs/2610.36121v1
• Date: Mon, 26 Oct 2026 18:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.40232
• Title: SuperJEPA: Pretraining with a Supervision-Augmented Joint-Embedding Predictive Architecture for High Energy Physics
• Title（参考訳）: スーパーJEPA:高エネルギー物理のためのスーパービジョン強化ジョイント埋め込み予測アーキテクチャによる事前学習
• Abstract要約: 人工骨頭型人工骨頭(SuperJEPA)について検討した。 複数のタスク、モデルサイズ、トレーニング済みデータセットサイズで、ダウンストリームジェットタグのパフォーマンスが改善されている。 凍結と微調整の両方のエンコーダの利得は継続し、将来の大規模粒子物理基礎モデルにおける予測的自己超越を動機付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models often obtain powerful results through very large unlabeled training datasets that dwarf available labeled datasets in size, but high energy physics already provides large samples of high-fidelity labeled simulation. We therefore ask whether self-supervised objectives improve over supervised pretraining alone when large labeled samples already exist. We introduce SuperJEPA, a joint-embedding predictive architec- ture augmented with a supervised objective, and find improved downstream jet-tagging performance across multiple tasks, model sizes, and pretraining dataset sizes. The gains persist for both frozen and fine-tuned encoders, motivating predictive self-supervision in future large-scale particle-physics foundation models.
• Abstract（参考訳）: 基礎モデルはしばしば、ラベル付きデータセットを小さくした非常に大きなラベル付きトレーニングデータセットを通じて強力な結果を得るが、高エネルギー物理学はすでに高忠実度ラベル付きシミュレーションの大規模なサンプルを提供している。 そこで我々は,大規模ラベル付きサンプルがすでに存在する場合に,教師付き事前学習よりも自己指導的目的が向上するかどうかを問う。 また,複数のタスク,モデルサイズ,データセットサイズを事前学習することで,下流ジェットタグ性能の向上が期待できる。 凍結と微調整の両方のエンコーダの利得は継続し、将来の大規模粒子物理基礎モデルにおける予測的自己超越を動機付けている。

関連論文リスト

• Atom-JEPA: Joint-Embedding Predictive Architecture for 3D Atomistic Systems [5.244112601754037]
  本稿では,原子系モデリングのための自己教師型事前学習フレームワークAtom-JEPAを紹介する。 Atom-JEPAは、相補的な原子レベルとサブ構造レベルの目的を通じて、ラベルのない3D構造から潜在表現を学習する。 Atom-JEPAは、分子ADMETおよび量子化学特性予測タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-10-06T14:13:51Z)
• Towards Data-Efficient Pretraining for Atomic Property Prediction [51.660835328611626]
  タスク関連データセットでの事前トレーニングは、大規模な事前トレーニングと一致するか、あるいは超える可能性があることを示す。 本稿では,コンピュータビジョンのFr'echet Inception Distanceにインスパイアされた,化学類似度指数(CSI)を紹介する。
  論文  参考訳（メタデータ） (2025-02-16T11:46:23Z)
• Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy [0.0]
  本稿では,自己教師付き事前学習が,下流タスクの高精度な微調整をいかに促進するかを示す。 我々は、電子顕微鏡の文脈において、下流の様々なタスクにまたがる自己教師型事前学習の汎用性を実証する。
  論文  参考訳（メタデータ） (2024-02-28T12:25:01Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。