論文の概要: The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning

• arxiv url: http://arxiv.org/abs/2605.22800v1
• Date: Thu, 21 May 2026 17:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.38878
• Title: The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning
• Title（参考訳）: マッチング原理:Nuisance-Robust表現学習における損失関数の幾何学的理論
• Authors: Vishal Rajput,
• Abstract要約: 本稿では,ラベル保存型デプロイメントニュアンスの共分散を推定することが統計的問題であると主張している。 コーラル、敵対的トレーニング、IRM、拡張、計量学習、ヤコビの罰則、アライメントスタイルの制約は、独立したトリックではなく、そのオブジェクトの異なる推定要因である。 本稿では,タスク精度やヤコビアン・フロベニウスノルムが不十分な場合,ラベルのない埋め込み感度プローブであるトラジェクトリ偏差指数(TDI)を導入する。
• 参考スコア（独自算出の注目度）: 0.5854803320592717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robustness, domain adaptation, photometric and occlusion invariance, compositional generalisation, temporal robustness, alignment safety, and classical anisotropic regularisation are usually treated as separate problems with separate method families. This paper argues that much of their shared structure is one statistical problem: estimate the covariance of label-preserving deployment nuisance, then regularise the encoder Jacobian along a matrix whose range covers that covariance (the matching principle). CORAL, adversarial training, IRM, augmentation, metric learning, Jacobian penalties, and alignment-style constraints are different estimators of that object, not independent robustness tricks. In the linear-Gaussian model we prove closed-form optimality (Theorem A), including cube-root water-filling within the matched range; necessity of range coverage for quadratic Jacobian penalties (Theorem G); the same range dichotomy at deep global minima; and two falsification controls (Lemma C; Corollaries E), with seven conditional consistency lemmas (D1-D7) for estimation under standard identifiability assumptions. We introduce the Trajectory Deviation Index (TDI), a label-free probe of embedding sensitivity when task accuracy or Jacobian Frobenius norm is insufficient. Thirteen pre-registered blocks from classical ML through Qwen2.5-7B test the predicted matched, then isotropic, then wrong-W ordering on geometry and deployment drift; twelve pass, and the sole exception (Office-31) is an eigengap failure named before the run. At 7B scale, matched style-PMH improves selective honesty and preserves Style TDI where standard DPO degrades it. The contribution is naming the deployment nuisance covariance, stating what the regulariser must do, and supplying a closed-form falsifiable theory once that object is identified, not universality on every leaderboard.
• Abstract（参考訳）: ロバストネス、ドメイン適応、測光およびオクルージョン不変性、組成一般化、時間的堅牢性、アライメント安全性、古典的異方性正規化は、通常、別のメソッドファミリーで別々の問題として扱われる。 この論文は、共有構造の多くは統計的な問題であり、ラベル保存された展開ニュアンスの共分散を推定し、その共分散をカバーしている行列に沿ってエンコーダジャコビアンを正則化する(マッチング原理)。 コーラル、敵対的トレーニング、IRM、拡張、計量学習、ヤコビの罰則、アライメントスタイルの制約は、独立した頑健さのトリックではなく、そのオブジェクトの異なる推定要素である。 線形ガウスモデルでは、整合域内の立方体根水充填を含む閉形式最適性 (Theorem A) を証明し、二次ヤコビ刑の範囲被覆の必要性 (Theorem G) 、深部大域ミニマにおける同じ範囲二分法(Lemma C; Corollaries E) 、2つのファルシフィケーション制御 (Lemma C; Corollaries E) と、7つの条件整合補題 (D1-D7) を標準識別可能性仮定で推定する。 本稿では,タスク精度やヤコビアン・フロベニウスノルムが不十分な場合,ラベルのない埋め込み感度プローブであるトラジェクトリ偏差指数(TDI)を導入する。 古典的MLからQwen2.5-7Bまでの13のプレ登録ブロックは、予測された一致し、それから等方的、次に不規則に、幾何と展開のドリフトを順守し、12のパスと唯一の例外(Office-31)は、実行前に名付けられた固有ギャップの故障である。 7Bスケールでは、マッチしたスタイル-PMHは選択的誠実さを改善し、標準のDPOが劣化したスタイルTDIを保存する。 この貢献は、配置のニュアンス共分散を命名し、レギュラーがすべきことを記述し、その物体が特定されたとき、すべてのリーダーボード上の普遍性ではなく、クローズド形式の偽造可能な理論を提供することである。

関連論文リスト

• Matrix-Decoupled Concentration for Autoregressive Sequences: Dimension-Free Guarantees for Sparse Long-Context Rewards [0.36260136172126667]
  自己回帰型大規模言語モデルにおけるシーケンスレベル評価のための厳密な集中境界の確立方法を示す。 厳密な因果関係の枠組み内で報酬の座標的間隔を保存することにより、長文推論の安定性に対する厳密な数学的正当性を提供する。
  論文  参考訳（メタデータ） (2026-05-07T11:12:59Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Ordinal Label-Distribution Learning with Constrained Asymmetric Priors for Imbalanced Retinal Grading [9.147336466586017]
  糖尿病網膜症は、本質的には順序性で長い尾を持つ。 制約付き非対称先行ワッサースタインオートエンコーダ(CAP-WAE)を提案する。 CAP-WAEは、最先端の4重み付きカッパ、精度、マクロF1を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-30T11:58:49Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions [0.0]
  統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
  論文  参考訳（メタデータ） (2020-08-13T11:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。