論文の概要: Sparsity and Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2603.07388v1
• Date: Sun, 08 Mar 2026 00:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:14.394667
• Title: Sparsity and Out-of-Distribution Generalization
• Title（参考訳）: スパシティとアウト・オブ・ディストリビューションの一般化
• Authors: Scott Aaronson, Lin Lin Lee, Jiawei Li,
• Abstract要約: オッカムのラザーは「少ない」仮説を好んでおり、できるだけ少数の特徴に依存している。 スパース仮説は、トレーニングからテスト分布へと一般化し、実際に関係しているか仮説的であると仮定される特徴に対して、2つの制約が十分に重なり合うようにします。 すると、空間を部分空間 juntas に一般化し、そこでは基底真理は特徴の低次元線型部分空間にのみ依存する。
• 参考スコア（独自算出の注目度）: 7.8452747274257035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explaining out-of-distribution generalization has been a central problem in epistemology since Goodman's "grue" puzzle in 1946. Today it's a central problem in machine learning, including AI alignment. Here we propose a principled account of OOD generalization with three main ingredients. First, the world is always presented to experience not as an amorphous mass, but via distinguished features (for example, visual and auditory channels). Second, Occam's Razor favors hypotheses that are "sparse," meaning that they depend on as few features as possible. Third, sparse hypotheses will generalize from a training to a test distribution, provided the two distributions sufficiently overlap on their restrictions to the features that are either actually relevant or hypothesized to be. The two distributions could diverge arbitrarily on other features. We prove a simple theorem that formalizes the above intuitions, generalizing the classic sample complexity bound of Blumer et al. to an OOD context. We then generalize sparse classifiers to subspace juntas, where the ground truth classifier depends solely on a low-dimensional linear subspace of the features.
• Abstract（参考訳）: 分布外一般化を説明することは、1946年のグッドマンの「グレー」パズル以来、認識論において中心的な問題となっている。 今日では、AIアライメントを含む機械学習の中心的な問題となっている。 本稿では,3つの主成分を用いたOOD一般化の原理的考察を提案する。 第一に、世界は常にアモルファスな質量ではなく、優れた特徴(例えば、視覚と聴覚のチャンネル)によって体験される。 第二に、オッカムのラザーは「少ない」仮説を好んでおり、できるだけ少数の特徴に依存している。 第3に、スパース仮説が訓練からテスト分布へと一般化し、2つの分布が実際に関係しているか仮説であるような特徴に対する制限に十分に重なることを仮定する。 2つのディストリビューションは、他の機能で任意に分岐する可能性がある。 上記の直観を形式化する単純な定理を証明し、Blumer et al の古典的なサンプル複雑性を OOD コンテキストに一般化する。 次にスパース分類器を部分空間 junta に一般化し、そこでは基底真理分類器は特徴量の低次元線型部分空間にのみ依存する。

関連論文リスト

• Characterizing Online and Private Learnability under Distributional Constraints via Generalized Smoothness [63.833913892018536]
  本研究では、固定されたファミリー$U$からデータ生成分布を適応的に選択できる分布敵の下でのシーケンシャルな意思決定について検討する。 一般化滑らか性(Generalized smoothness)という概念の観点で学習可能性を認めるファミリー$U$のほぼ完全な特徴付けを提供する。 一般化された滑らかさは,分布制約下での個人学習性も特徴付けることを示す。
  論文  参考訳（メタデータ） (2026-02-24T06:15:59Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Simplicial distributions, convex categories and contextuality [0.0]
  単純分布 (simplicial distribution) は、測度と結果の集合を空間に高めることによって確率分布の前層を拡張するモデルである。 本稿では,カテゴリー的視点から簡潔な分布を研究するために,凸圏の概念を紹介する。 simplicial distribution is noncontextual if and only if it is weakly invertible。
  論文  参考訳（メタデータ） (2022-11-01T16:33:54Z)
• Class Is Invariant to Context and Vice Versa: On Learning Invariance for Out-Of-Distribution Generalization [85.21263480129056]
  我々は、先行研究において広く採用されている前提である文脈バイアスを直接注釈付けしたり、偏見付きクラス予測から推定することができると論じる。 対照的に、上述の原則の見過ごされた他の側面を指摘する:コンテキストもクラスに不変である。 我々は、クラス内サンプル類似性の対照的な損失を最小限に抑えながら、この類似性がすべてのクラスで不変であることを保証し、この考え方を実装した。
  論文  参考訳（メタデータ） (2022-08-06T08:09:54Z)
• Towards Out-Of-Distribution Generalization: A Survey [46.329995334444156]
  アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。 本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
  論文  参考訳（メタデータ） (2021-08-31T05:28:42Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Towards a Theoretical Framework of Out-of-Distribution Generalization [28.490842160921805]
  オフ・オブ・ディストリビューション(OOD)データへの一般化(ドメイン一般化)は、現代の機械学習における中心的な問題の一つである。 本研究は,OOD問題の厳密かつ定量的な定義に向けての第一歩を踏み出したものである。
  論文  参考訳（メタデータ） (2021-06-08T16:32:23Z)
• Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition [39.108491135488286]
  テストのリスクをバイアスと分散コンポーネントに分解します。 バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。 一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
  論文  参考訳（メタデータ） (2021-03-17T23:30:00Z)
• Distributional Generalization: A New Kind of Generalization [10.555325639706071]
  分散一般化という新しい概念を導入する。 列車とテスト時の分類器の出力は、平均誤差だけをクローズするのとは対照的に、*as distributions*である、と大まかに述べています。 機械学習において、これらの予想の実証的な証拠を様々な領域にわたって与える。
  論文  参考訳（メタデータ） (2020-09-17T06:26:17Z)
• On Localized Discrepancy for Domain Adaptation [146.4580736832752]
  本稿では,局所化後の仮説空間上で定義される局所的不一致について検討する。 2つの領域を交換すると、それらの値が異なるため、非対称な移動困難が明らかになる。
  論文  参考訳（メタデータ） (2020-08-14T08:30:02Z)
• Contextuality scenarios arising from networks of stochastic processes [68.8204255655161]
  経験的モデルは、その分布が X 上の合同分布を極小化することができなければ文脈的と言える。 我々は、多くのプロセス間の相互作用という、文脈的経験的モデルの異なる古典的な源泉を示す。 長期にわたるネットワークの統計的挙動は、経験的モデルを一般的な文脈的かつ強い文脈的にする。
  論文  参考訳（メタデータ） (2020-06-22T16:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。