論文の概要: Attributing Preprocessing Invariance in Spectral Foundation Models

• arxiv url: http://arxiv.org/abs/2608.14227v2
• Date: Fri, 21 Aug 2026 13:03:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:31.590624
• Title: Attributing Preprocessing Invariance in Spectral Foundation Models
• Title（参考訳）: スペクトル基礎モデルにおける前処理不変性の寄与
• Abstract要約: ケーススタディではRamanの基礎モデルを使用します。 6つのRaman評価データセットでは、モデルは自身の正規化を測定上上回らない。
• 参考スコア（独自算出の注目度）: 8.117967207697566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preprocessing invariance is an appealing goal for spectral foundation models: a frozen model should remain useful when laboratories preprocess spectra differently. It is usually measured by training a classifier under one preprocessing pipeline and testing it under another, with preserved accuracy read as evidence of learning. We revisit that reading, using a Raman foundation model as a case study. Such models normalize their inputs before any learned parameter is applied. If that normalization maps two differently preprocessed spectra to the same vector, the encoder receives identical inputs, so the invariance cannot be attributed to learning. For a normalization that uses each spectrum's own statistics, this happens exactly when one spectrum is a positive multiple of the other plus a constant. Several standard preprocessing operations take that form. The encoder should therefore be measured against the normalization alone, which has no learned parameters. On six Raman evaluation datasets, the model does not measurably outperform its own normalization. It improves on raw spectra, but so does the normalization alone. Training does improve the encoder over random initialization, and a controlled experiment shows that it learns to ignore a transformation only when that transformation reaches it. A numerical test settles which transformations a given normalization removes. Across released systems in five modalities, most normalizations already remove transformations of that form, and several of those systems claim that invariance as learned. Replicating the comparison on two of them shows no gain either.
• Abstract（参考訳）: 前処理の不変性は、スペクトル基盤モデルにとって魅力的な目標である。 通常は、ある前処理パイプラインの下で分類器を訓練し、別の前処理パイプラインでテストすることで測定される。 本稿では,Ramanの基礎モデルを事例スタディとして,その読み方を再考する。 このようなモデルは、学習パラメータを適用する前に入力を正規化する。 正規化が2つの異なる前処理されたスペクトルを同じベクトルにマッピングした場合、エンコーダは同一の入力を受け取り、その不変性は学習によるものではない。 それぞれのスペクトルの統計値を使用する正規化の場合、これは一方のスペクトルが他方の正の倍数で、他方のスペクトルが定数であるときに正確に発生する。 いくつかの標準的な前処理処理は、この形式を採用している。 したがって、エンコーダは、学習パラメータを持たない正規化のみに対して測定されるべきである。 6つのRaman評価データセットでは、モデルは自身の正規化を測定上上回らない。 生のスペクトルは改善されるが、正規化だけでも改善される。 トレーニングはランダム初期化よりもエンコーダを改善し、制御された実験は、変換がそれに到達するときだけ変換を無視することを学ぶことを示す。 数値テストは、与えられた正規化が取り除く変換を決着させる。 5つのモードでリリースされたシステム全体で、ほとんどの正規化は、既にその形式の変換を取り除いている。 2つの比較を再現しても、利益は得られない。

関連論文リスト

• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• Learning to Transform for Generalizable Instance-wise Invariance [48.647925994707855]
  どのような画像であっても、正規化フローを使用して変換上の分布を予測し、それらの上の予測を平均化する。 この正規化フローはエンドツーエンドでトレーニングされており、AugerinoやInstaAugよりもはるかに広い範囲の変換を学ぶことができる。 CIFAR10, CIFAR10-LT, TinyImageNetの精度とロバスト性向上を示す。
  論文  参考訳（メタデータ） (2023-09-28T17:59:58Z)
• Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression [1.342834401139078]
  本稿では,高次元回帰のための新しい手法であるSpectrumAware Debiasingを紹介する。 我々のアプローチは、構造的、重く、低ランクな構造に関する問題に適用できる。 シミュレーションおよび実データ実験により本手法を実証する。
  論文  参考訳（メタデータ） (2023-09-14T15:58:30Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• NoMorelization: Building Normalizer-Free Models from a Sample's Perspective [17.027460848621434]
  我々は「NoMorelization」と呼ばれる正規化の単純かつ効果的な代替案を提案する。 NoMorelizationは2つのトレーニング可能なスカラーと0中心ノイズインジェクタで構成されている。 既存の主流正規化器と比較して、NoMorelizationは最高速度精度のトレードオフを示している。
  論文  参考訳（メタデータ） (2022-10-13T12:04:24Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Simpler is better: spectral regularization and up-sampling techniques for variational autoencoders [1.2234742322758418]
  ニューラルネットワークに基づく生成モデルのスペクトル挙動のキャラクタリゼーションは未解決のままである。 最近の研究は、生成的対向ネットワークと、実画像と生成画像の高周波の相違に重点を置いている。 変分オートエンコーダ(VAE)のための単純な2次元フーリエ変換に基づくスペクトル正規化損失を提案する。
  論文  参考訳（メタデータ） (2022-01-19T11:49:57Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。