論文の概要: RINO: Renormalization Group Distillation with No Labels

• arxiv url: http://arxiv.org/abs/2610.15919v1
• Date: Sun, 11 Oct 2026 21:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.270916
• Title: RINO: Renormalization Group Distillation with No Labels
• Title（参考訳）: RINO: ラベル無しで再正常化グループ蒸留
• Abstract要約: 高エネルギー物理学における教師付き機械学習は、粒子衝突のラベル付きシミュレーションのトレーニングを必要とする。 これにより、トレーニングされたモデルを実際のデータに転送する際の重大な不正確さとバイアスが発生する。 本稿では,高エネルギージェット生成における基本的マルチスケール再正規化群構造を利用したRINOを提案する。
• 参考スコア（独自算出の注目度）: 10.154666345547964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised machine learning in high-energy physics (HEP) requires training on labeled simulations of particle collisions, which are known to be unfaithful to the underlying physics. This leads to significant inaccuracies and biases in the transfer of trained models to real data, limiting the power of deep learning methods. Self-supervised learning (SSL) is a promising alternative for pretraining directly on real, unlabeled data. However, existing techniques largely operate with inductive biases inspired by domains such as images and natural language. We propose RINO (Renormalization Group DIstillation with NO Labels), which, for the first time, exploits the fundamentally multi-scale renormalization group structure of high-energy jet formation as a physically grounded source of SSL views. We define teacher-student representations across energy scales using different levels of hierarchical clustering, aligned via DINO-style self-distillation. To mirror the background-dominated nature of real collider data, RINO pretrains exclusively on jets from quantum chromodynamics (QCD) processes and is evaluated on out-of-distribution (OOD) transfer to rare signal classes. In our controlled data-efficiency study, RINO matches fully supervised training on JetNet after finetuning on only 1% of the labeled data. With the full labeled dataset, RINO improves OOD classification accuracy on top-quark jets by 5.9% and, without retraining, improves AUC on the unseen Higgs boson decay channel $H \to 4q$ by 4.1% over the strongest SSL baseline. Scale-structure diagnostics reveal that DINO-style self-distillation permits our backbone to retain scale-dependent structure. Ablation studies show that this accounts for an 8.6% OOD accuracy gap with respect to alternative SSL paradigms such as SimCLR. Code is available at https://github.com/zichunhao/RINO.
• Abstract（参考訳）: 高エネルギー物理学(HEP)における教師付き機械学習は、基礎となる物理学に不誠実であることが知られている粒子衝突のラベル付きシミュレーションの訓練を必要とする。 これにより、トレーニングされたモデルを実際のデータに転送する際の重大な不正確さとバイアスが発生し、ディープラーニングメソッドのパワーが制限される。 自己教師付き学習(SSL)は、実際のラベルなしデータを直接事前トレーニングするための有望な代替手段である。 しかし、既存の技術は画像や自然言語といった領域にインスパイアされた帰納的バイアスで主に機能する。 本稿では,高エネルギージェット形成における基本的マルチスケール再正規化群構造をSSLビューの物理的基盤として活用するRINO(Renormalization Group Distillation with NO Labels)を提案する。 我々は,DINOスタイルの自己蒸留を用いて,階層的クラスタリングの異なるレベルを用いて,エネルギースケールにおける教師学生表現を定義した。 実コライダーデータの背景に支配される性質を反映するために、RINOは量子色力学(QCD)プロセスからジェットにのみ事前訓練を行い、希少信号クラスへのオフ・オブ・ディストリビューション(OOD)転送で評価される。 制御されたデータ効率の研究において、RINOはラベル付きデータの1%のみを微調整した後、JetNetの教師付きトレーニングと完全に一致した。 完全なラベル付きデータセットにより、RINOはトップクォークジェットのOOD分類精度を5.9%改善し、再訓練することなく、最強のSSLベースラインに対してH \to 4q$のAUCを4.1%改善する。 スケール構造診断は、DINOスタイルの自己蒸留により、我々のバックボーンがスケール依存構造を維持することを明らかにしている。 アブレーション研究によると、これはSimCLRのような代替SSLパラダイムに対するOOD精度の8.6%のギャップである。 コードはhttps://github.com/zichunhao/RINO.comで入手できる。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• MixSD: Mixed Contextual Self-Distillation for Knowledge Injection [29.7616760417696]
  Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。 このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。 分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
  論文  参考訳（メタデータ） (2026-05-16T07:57:09Z)
• RINO: Renormalization Group Invariance with No Labels [2.8340817498803434]
  RINOは、衝突データに基づいてモデルを直接トレーニングできる自己教師型学習アプローチである。 我々は,JetNetのトレーニングデータからJetClassデータへの一般化を,JetNetの教師付きトレーニングをスクラッチから行う場合と比較した。
  論文  参考訳（メタデータ） (2025-09-09T08:05:35Z)
• Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-19T17:21:03Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• Improving self-supervised pretraining models for epileptic seizure detection from EEG data [0.23624125155742057]
  本稿では、時系列に基づく拡散畳み込みニューラルネットワーク(DCRNN)モデルの性能を高めるための様々な自己超越戦略を提案する。 自己超越事前訓練フェーズの学習重量は、モデルの予測能力を高めるために教師付きトレーニングフェーズに移行することができる。
  論文  参考訳（メタデータ） (2022-06-28T17:15:49Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。