論文の概要: Pretraining Shapes Spectral Structure: Architecture- and Strategy-Conditional Prediction of OOD Robustness in Foundation Models

• arxiv url: http://arxiv.org/abs/2610.09709v1
• Date: Wed, 07 Oct 2026 09:04:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.817876
• Title: Pretraining Shapes Spectral Structure: Architecture- and Strategy-Conditional Prediction of OOD Robustness in Foundation Models
• Title（参考訳）: スペクトル構造の事前学習:基礎モデルにおけるOODロバスト性予測のアーキテクチャと戦略-
• Abstract要約: 既存の診断にはソースまたはターゲットデータが必要である。 事前学習した重みのスペクトル構造にその解が符号化されていることを示す。
• 参考スコア（独自算出の注目度）: 17.621916430554815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can we determine whether a foundation model will generalize out-of-distribution (OOD) before any target data is available? Existing diagnostics require source or target data, which rules them out before a target domain exists. Those that use the weights alone apply one statistic to every architecture, and do not separate robust models from fragile ones. We show the answer is encoded in the spectral structure of pretrained weights. Two forces shape that structure. Architecture determines how information is stored in weight matrices. Pretraining strategy determines what is rewarded. Together they set a spectral geometry that governs OOD robustness. We prove that the OOD accuracy gap is bounded by how tightly the source representations concentrate. A statistic computed from the pretrained weights alone serves as a proxy for that concentration. The direction of that proxy reverses between architecture families. We operationalize it: the direction is stable within one (architecture X strategy) combination, the finest grouping we test, which we call a cell. Pooled over 116 models spanning 7 modalities, a single statistic ranks OOD robustness weakly, because cells of opposite direction cancel. Within a cell, the statistic selected for it orders 92% of model pairs by OOD robustness in-sample. The selection does not leak the target: for each model family outside the matrix we logged the cell, metric and sign before running its OOD evaluation, and the predicted direction held in every case: EEG, genomic and protein. Acting on spectral concentration narrows the OOD gap by 24% at 87.5% ID retention. The diagnostic operates on released weights alone, so OOD robustness becomes checkable at model-selection time, before data or compute is committed to a target domain.
• Abstract（参考訳）: 対象データが利用可能になる前に、基盤モデルがアウト・オブ・ディストリビューション(OOD)を一般化するかどうかを判断できますか? 既存の診断にはソースまたはターゲットデータが必要である。 重みのみを使用するものは、すべてのアーキテクチャに1つの統計学を適用し、堅牢なモデルを脆弱なものから分離しない。 事前学習した重みのスペクトル構造にその解が符号化されていることを示す。 2つの力がその構造を形作る。 アーキテクチャは、情報を重み行列に格納する方法を決定する。 プレトレーニング戦略は報酬を決定する。 彼らは同時に、OODロバスト性を管理するスペクトル幾何学を設定した。 我々は、OODの精度ギャップが、ソース表現がどれだけ強く集中しているかによって制限されていることを証明した。 事前訓練された重量から計算された統計は、その濃度の代理となる。 そのプロキシの方向は、アーキテクチャファミリ間で反転します。 私たちはそれを運用します:方向は1つの(アーキテクチャX戦略)組み合わせの中で安定しています。 7つのモードにまたがる116以上のモデルで、反対方向のセルがキャンセルされるため、1つの統計値でOODのロバスト性は弱かった。 セル内では、OODの頑健性によってモデルペアの92%を発注する。 選択はターゲットを漏らさない:我々は、OOD評価を実行する前に、セル、メートル法、サインをログし、EEG、ゲノム、タンパク質の各ケースで保持される予測方向を出力した。 スペクトル濃度で作用すると、OODのギャップは87.5%のID保持率で24%狭くなる。 診断はリリースされたウェイトのみで動作するため、OODロバスト性は、データや計算がターゲットドメインにコミットされる前に、モデル選択時にチェック可能である。

関連論文リスト

• Beyond Random Splits: Evaluating Drug-Target Affinity Models Under Chemically and Biologically Motivated Distribution Shifts Copy [1.3688623794228771]
  薬物標的親和性(DTA)予測は、高価な試験スクリーニングの前に候補化合物を優先するために広く用いられている。 アーキテクチャがどのアーキテクチャが最適かを評価するために使用される分散シフトが、どのアーキテクチャに最も適しているかを問う。 Morgan-fingerprint + protein-CNNベースラインと4つの薬物表現と3つのESM-2相互作用モードを組み合わせた12の制御アーキテクチャを比較した。
  論文  参考訳（メタデータ） (2026-10-02T15:33:20Z)
• Can Molecular Foundation Models Know What They Don't Know? A Simple Remedy with Preference Optimization [54.22711328577149]
  既存の基盤モデルと柔軟に統合可能なプラグイン・アンド・プレイモジュールである,分子適応型参照インスタンスランキング(Mole-PAIR)を導入する。 本手法は既存の分子基盤モデルのOOD検出能力を著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-09-29T21:06:52Z)
• Evaluating Reliability in Medical DNNs: A Critical Analysis of Feature and Confidence-Based OOD Detection [2.9049649065453336]
  OOD検出方法は、信頼層(OOD検出のためにモデルの出力層を使用する)または機能層(出力層を使用しない)に分類することができる。 OODアーティファクトは、トレーニングデータと他の要因との相関関係から、モデルの予測におけるソフトマックスの信頼性を高めることができることを示す。 また、特徴に基づく手法は、通常、正しい予測と誤った予測につながる入力を区別する上で、より悪い性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:02:22Z)
• Mind the Backbone: Minimizing Backbone Distortion for Robust Object Detection [52.355018626115346]
  ドメインシフトに対して堅牢なオブジェクト検出器を構築することは、現実世界のアプリケーションにとって重要なことです。 我々は,ゆがみを特徴付けるバックボーンの脆弱性を測定する手段として,相対勾配ノルム(Relative Gradient Norm)を提案する。 両バックボーンのOOD堅牢性を高めるためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-03-26T14:50:43Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• Your Out-of-Distribution Detection Method is Not Robust! [0.4893345190925178]
  オフ・オブ・ディストリビューション(OOD)検出は,信頼性と安全性において領域外サンプルを特定することの重要性から,近年注目されている。 この問題を緩和するために、最近いくつかの防衛策が提案されている。 我々は、より大きな摂動サイズを持つイン/アウトデータに対するエンドツーエンドのPGD攻撃に対して、これらの防御を再検討する。
  論文  参考訳（メタデータ） (2022-09-30T05:49:00Z)
• A knee cannot have lung disease: out-of-distribution detection with in-distribution voting using the medical example of chest X-ray classification [58.720142291102135]
  この研究では、胸部X線分類モデルであるCheXnetを用いて、胸部X線14データセットをトレーニングした。 複数ラベル分類のためのOODデータを検出するために,IDV(In-distriion voting)を提案する。 ID (chest X-ray 14) と OOD データ (IRMA と ImageNet) に基づいてトレーニングした IDV アプローチは,平均で3つのデータセットにわたる 0.999 OOD 検出 AUC を達成した。
  論文  参考訳（メタデータ） (2022-08-01T18:20:36Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Resilience from Diversity: Population-based approach to harden models against adversarial attacks [0.0]
  この研究は、敵の攻撃に対して回復力のあるモデルを導入する。 我々のモデルは、生物科学から確立された原則を生かし、人口多様性は環境変化に対して弾力性を生み出す。 Counter-Linked Model (CLM) は、周期的ランダム類似性検査を行う同じアーキテクチャのサブモデルで構成されている。
  論文  参考訳（メタデータ） (2021-11-19T15:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。