論文の概要: Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization
- arxiv url: http://arxiv.org/abs/2605.07483v2
- Date: Tue, 12 May 2026 23:48:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 17:13:58.793347
- Title: Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization
- Title（参考訳）: ニューラルネットワークは外挿されるか? OOD一般化のための識別可能性バイアスとしての特徴工学
- Authors: Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin,
- Abstract要約: ディープニューラルネットワークが成功すると、データの健全な特徴が見つかる。
In-distriion (ID)トレーニングウィンドウからOOD(out-of-distriion)関連表現をいつ、なぜ学習しないのかを示す。
- 参考スコア（独自算出の注目度）: 1.0989593035411862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Successful deep neural networks discover salient features of data. We show when and why they fail to learn out-of-distribution (OOD)-relevant representations from an in-distribution (ID) training window. This requires decoupling feature learning from data-generating-process (DGP) identifiability. From a single training window, OOD extrapolation is non-identifiable: infinitely many DGPs are $\varepsilon$-observationally equivalent on the training data but diverge arbitrarily outside it, and no in-distribution criterion alone reliably breaks the tie. A structural commitment, the feature map, label map, and model class $(\varphi, ψ, \mathcal{M})$, dictates the assumed DGP and governs OOD generalization while leaving ID performance essentially unchanged. When architecture, pretraining, augmentation, input formats, or domain knowledge implicitly inject the missing commitment, the model succeeds. When it cannot infer OOD-relevant structure from ID evidence, it fails. Changing only the representation can make the same architecture, at the same in-distribution loss, differ by ${\sim}520\times$ out of distribution. When the commitment is correct and identifiable, OOD error vanishes. For example, Fourier coordinates turn periodic extrapolation into interpolation on $\mathbb{S}^1$. The same mechanism predicts outcomes in three natural-science settings (mass-action chemistry; Kepler's-third-law exoplanet prediction, $n=2{,}362$; and cross-species coding-DNA detection) and in a 264-run positional-encoding study across Transformer, Mamba, and S4D. Finally, a controlled study shows: correct features are necessary but not sufficient. The model class must express the target, and the transformed training data must cover the relevant representation space.
- Abstract（参考訳）: ディープニューラルネットワークが成功すると、データの健全な特徴が見つかる。
In-distriion (ID)トレーニングウィンドウからOOD(out-of-distriion)関連表現をいつ、なぜ学習しないのかを示す。
これにより、データ生成プロセス(DGP)の識別性から特徴学習を分離する必要がある。
無限に多くのDGPは、トレーニングデータに$\varepsilon$-observationalに同値であるが、任意に外部に発散し、分布内規準のみを確実に破ることはない。
構造的コミットメント、特徴写像、ラベルマップ、およびモデルクラス $(\varphi, s, \mathcal{M})$ は、仮定された DGP を規定し、ID性能を基本的に変わらないまま OOD の一般化を管理する。
アーキテクチャ、事前トレーニング、拡張、入力フォーマット、ドメイン知識が欠落したコミットメントを暗黙的に注入する場合、モデルは成功する。
ID証拠からOOD関連構造を推測できない場合、失敗する。
表現だけを変えると、同じアーキテクチャを同じ分散損失で作成でき、${\sim}520\times$out of distributionによって異なる。
コミットメントが正し、識別可能であれば、OODエラーは消滅する。
例えば、フーリエ座標は周期的外挿を $\mathbb{S}^1$ の補間に変換する。
同じメカニズムは、3つの自然科学的な設定(質量反応化学、ケプラーの3番目の法則外惑星予測、$n=2{,}362$、およびクロス種コードDNA検出)とトランスフォーマー、マンバ、S4Dの264回の位置エンコード研究の結果を予測する。
最後に、制御された研究は: 正しい特徴は必要だが十分ではない。
モデルクラスはターゲットを表現する必要があり、変換されたトレーニングデータは関連する表現空間をカバーする必要がある。
関連論文リスト
- Epistemic Observability in Language Models [0.0]
製造時に高い信頼性を報告できるモデルがあることがわかりました。
正式な仮定では、これは能力ギャップではなく観察的なギャップである。
我々は,計算副産物を輸出することで不合理性から逃れるテンソルインタフェースを構築した。
論文 参考訳（メタデータ） (2026-03-20T21:59:34Z) - Out-of-Distribution Detection in Molecular Complexes via Diffusion Models for Irregular Graphs [11.928558263824213]
拡散モデル上に構築された複雑な3次元グラフデータに対する確率的OOD検出フレームワークを提案する。
単一の確率フローODEがサンプルごとのログライクな状態を生成し、分散シフトの典型的なスコアを提供する。
タンパク質-リガンド複合体のアプローチを検証し、厳密なOODデータセットを構築する。
論文 参考訳（メタデータ） (2025-12-20T17:56:15Z) - How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。
本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文 参考訳（メタデータ） (2024-02-05T20:36:33Z) - GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。
近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。
本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
論文 参考訳（メタデータ） (2024-01-10T08:37:39Z) - Toward Understanding Generative Data Augmentation [16.204251285425478]
生成データの増大は、発散項の順序が$o(maxleft( log(m)beta_m, 1 / sqrtm)right)$である場合、より高速に学習できることを示す。
いずれの場合も、生成データの増大は学習速度の速さを損なうものではないが、列車セットが小さい場合、一定のレベルで学習保証を改善することができることを証明している。
論文 参考訳（メタデータ） (2023-05-27T13:46:08Z) - $p$-DkNN: Out-of-Distribution Detection Through Statistical Testing of
Deep Representations [32.99800144249333]
我々は、訓練された深層ニューラルネットワークを使用し、その中間の隠蔽表現の類似構造を分析する新しい推論手順である$p$-DkNNを紹介した。
我々は、$p$-DkNNでアダプティブアタッカーが、最悪のOOD入力の形式である敵の例を作成して、入力に意味のある変更を導入する。
論文 参考訳（メタデータ） (2022-07-25T21:42:08Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - CARD: Classification and Regression Diffusion Models [51.0421331214229]
本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。
おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
論文 参考訳（メタデータ） (2022-06-15T03:30:38Z) - Towards IID representation learning and its application on biomedical
data [2.91364210254152]
広く受け入れられている独立性と同一分布(IID)の仮定は、因果関係に関する最近の研究で批判されている。
本稿では、疑わしい仮定である代わりに、IIDは学習すべき基本的なタスク関連特性である、と論じる。
論文 参考訳（メタデータ） (2022-03-01T10:15:14Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2022-01-30T16:43:40Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。