論文の概要: Supervised Learning Has a Necessary Geometric Blind Spot: Theory, Consequences, and Minimal Repair

• arxiv url: http://arxiv.org/abs/2604.21395v1
• Date: Thu, 23 Apr 2026 08:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.376959
• Title: Supervised Learning Has a Necessary Geometric Blind Spot: Theory, Consequences, and Minimal Repair
• Title（参考訳）: 幾何学的ブラインドスポットが必要な教師付き学習:理論、結果、そして最小の修復
• Abstract要約: 教師付き損失を最小限に抑えるエンコーダは、トレーニングデータにラベルが関連しているが、テスト時にニュアンスである方向に非ゼロジャコビアン感度を保たなければならないことを示す。 これは現在の手法の断続的な失敗ではなく、監督対象自体の数学的結果である。 これを教師付き学習の幾何学的盲点(Theorem 1)と呼び、適切なスコアリングルール、アーキテクチャ、データセットサイズにまたがって保持することを示す。
• 参考スコア（独自算出の注目度）: 0.5854803320592717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove that empirical risk minimisation (ERM) imposes a necessary geometric constraint on learned representations: any encoder that minimises supervised loss must retain non-zero Jacobian sensitivity in directions that are label-correlated in training data but nuisance at test time. This is not a contingent failure of current methods; it is a mathematical consequence of the supervised objective itself. We call this the geometric blind spot of supervised learning (Theorem 1), and show it holds across proper scoring rules, architectures, and dataset sizes. This single theorem unifies four lines of prior empirical work that were previously treated separately: non-robust predictive features, texture bias, corruption fragility, and the robustness-accuracy tradeoff. In this framing, adversarial vulnerability is one consequence of a broader structural fact about supervised learning geometry. We introduce Trajectory Deviation Index (TDI), a diagnostic that measures the theorem's bounded quantity directly, and show why common alternatives miss the key failure mode. PGD adversarial training reaches Jacobian Frobenius 2.91 yet has the worst clean-input geometry (TDI 1.336), while PMH achieves TDI 0.904. TDI is the only metric that detects this dissociation because it measures isotropic path-length distortion -- the exact quantity Theorem 1 bounds. Across seven vision tasks, BERT/SST-2, and ImageNet ViT-B/16 backbones used by CLIP, DINO, and SAM, the blind spot is measurable and repairable. It is present at foundation-model scale, worsens monotonically across language-model sizes (blind-spot ratio 0.860 to 0.765 to 0.742 from 66M to 340M), and is amplified by task-specific ERM fine-tuning (+54%), while PMH repairs it by 11x with one additional training term whose Gaussian form Proposition 5 proves is the unique perturbation law that uniformly penalises the encoder Jacobian.
• Abstract（参考訳）: 我々は,経験的リスク最小化(ERM)が学習表現に必要となる幾何学的制約を課していることを証明した。 これは現在の手法の断続的な失敗ではなく、監督対象自体の数学的結果である。 これを教師付き学習の幾何学的盲点(Theorem 1)と呼び、適切なスコアリングルール、アーキテクチャ、データセットサイズにまたがって保持することを示す。 この単一の定理は、以前に別々に扱われた経験的作業の4つの行を統一する:非ロマンスな予測的特徴、テクスチャバイアス、汚い脆弱性、堅牢さと正確さのトレードオフ。 このフレーミングにおいて、敵対的脆弱性は教師付き学習幾何学に関するより広範な構造的事実の結果である。 本稿では,定理の有界量を直接測定する診断指標であるトラジェクトリ偏差指数(TDI)を導入する。 PGD逆行訓練はヤコビアン・フロベニウス2.91に到達したが、最悪のクリーンインプット幾何学(TDI 1.336)を持ち、PMHはTDI 0.904を達成している。 TDIはこの解離を検出する唯一の計量であり、これは等方性経路長の歪みを測るからである。 BERT/SST-2とImageNet ViT-B/16の7つのビジョンタスクで、CLIP、DINO、SAMで使用されている。 基礎モデルスケールで存在し、言語モデルサイズ(66Mから340Mの盲点比0.860から0.765から0.742)で単調に悪化し、タスク固有のERM微調整(+54%)によって増幅される一方、PMHはガウス形式が証明された1つの訓練項で11倍に修復する。

関連論文リスト

• The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
  線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。 13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。 Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
  論文  参考訳（メタデータ） (2026-05-21T17:53:28Z)
• Geometric Metrics for MoE Specialization: From Fisher Information to Early Failure Detection [13.891522069967507]
  本稿では,MoE動的特殊化の最初の厳密な特徴を提供する情報幾何学的フレームワークを提案する。 我々の重要な洞察は、フィッシャー情報量計を備えた確率単純度に基づいて、専門家のルーティング分布が進化することである。
  論文  参考訳（メタデータ） (2026-04-16T00:28:41Z)
• LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
  JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。 最初のJEPAであるLeModelWorldを紹介します。 数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
  論文  参考訳（メタデータ） (2026-03-13T19:48:14Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models [1.45309944076563]
  5つのアーキテクチャファミリから9つのモデルにまたがる正しさの表現を特徴付ける。 我々はアクティベーションステアリングによる因果性評価を行った。 正確性信号は内部に存在するが、出力では表現されない。
  論文  参考訳（メタデータ） (2026-02-08T23:27:10Z)
• Latent Sculpting for Zero-Shot Generalization: A Manifold Learning Approach to Out-of-Distribution Anomaly Detection [2.8547732086436306]
  教師付きディープラーニングの基本的限界は「一般化崩壊」である 階層型2段階表現学習フレームワークであるLatent Sculptingを提案する。 我々は「浸潤」のシナリオについて88.89%の検知率を報告した。
  論文  参考訳（メタデータ） (2025-12-19T11:37:02Z)
• Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification [0.0]
  この研究は情報幾何学と統計的学習を橋渡しし、厳密な検証を必要とするアプリケーションにおいて不確実性を認識した分類の正式な保証を提供する。 アデノ関連ウイルスの分類に関する実証的な検証は、2段階のフレームワークが72.5%のエラーをキャプチャし、34.5%のサンプルを遅延させ、自動決定エラー率を16.8%から6.9%に下げていることを示している。
  論文  参考訳（メタデータ） (2025-11-26T01:29:49Z)
• WirelessMathLM: Teaching Mathematical Reasoning for LLMs in Wireless Communications with Reinforcement Learning [51.13280433665446]
  大規模言語モデル(LLM)は、一般的な数学的推論では優れているが、専門的な技術的数学では破滅的に失敗する。 無線通信では、問題は情報理論的境界の正確な操作を必要とするが、最先端のモデルでさえ有能な性能を達成するのに苦労する。 本稿では、コンパクトモデル(0.5B-7Bパラメータ)がドメイン固有強化学習により、より大きなモデルに適合または超えることを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:58:03Z)
• Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
  テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T10:03:00Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection [13.109309606764754]
  我々は、ターゲットモデル自体の内部の階層的不整合を利用するプラグイン検出フレームワークを導入する。 本手法は計算オーバーヘッドを無視して最先端検出性能を実現する。
  論文  参考訳（メタデータ） (2025-05-19T00:48:53Z)
• PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 拡張一般化のための勾配を暗黙的に正規化するが、知識を保持するために微調整されたモデルや事前訓練されたモデルも暗黙的に整列する。 また、テキスト分類(GLUE)や数学的推論においてLoRAを改善している。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [57.63331017830154]
  経験的リスク最小化(ERM: Empirical Risk Minimization)は、平均2乗誤差で最小限の最適値が得られる。 比較的軽度な仮定の下では、ERMの準最適性はその大きなバイアスによるものでなければならない。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。