論文の概要: The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning

• arxiv url: http://arxiv.org/abs/2605.22800v1
• Date: Thu, 21 May 2026 17:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.38878
• Title: The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning
• Title（参考訳）: マッチング原理:Nuisance-Robust表現学習における損失関数の幾何学的理論
• Abstract要約: 本稿では,ラベル保存型デプロイメントニュアンスの共分散を推定することが統計的問題であると主張している。 コーラル、敵対的トレーニング、IRM、拡張、計量学習、ヤコビの罰則、アライメントスタイルの制約は、独立したトリックではなく、そのオブジェクトの異なる推定要因である。 本稿では,タスク精度やヤコビアン・フロベニウスノルムが不十分な場合,ラベルのない埋め込み感度プローブであるトラジェクトリ偏差指数(TDI)を導入する。
• 参考スコア（独自算出の注目度）: 0.5854803320592717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robustness, domain adaptation, photometric and occlusion invariance, compositional generalisation, temporal robustness, alignment safety, and classical anisotropic regularisation are usually treated as separate problems with separate method families. This paper argues that much of their shared structure is one statistical problem: estimate the covariance of label-preserving deployment nuisance, then regularise the encoder Jacobian along a matrix whose range covers that covariance (the matching principle). CORAL, adversarial training, IRM, augmentation, metric learning, Jacobian penalties, and alignment-style constraints are different estimators of that object, not independent robustness tricks. In the linear-Gaussian model we prove closed-form optimality (Theorem A), including cube-root water-filling within the matched range; necessity of range coverage for quadratic Jacobian penalties (Theorem G); the same range dichotomy at deep global minima; and two falsification controls (Lemma C; Corollaries E), with seven conditional consistency lemmas (D1-D7) for estimation under standard identifiability assumptions. We introduce the Trajectory Deviation Index (TDI), a label-free probe of embedding sensitivity when task accuracy or Jacobian Frobenius norm is insufficient. Thirteen pre-registered blocks from classical ML through Qwen2.5-7B test the predicted matched, then isotropic, then wrong-W ordering on geometry and deployment drift; twelve pass, and the sole exception (Office-31) is an eigengap failure named before the run. At 7B scale, matched style-PMH improves selective honesty and preserves Style TDI where standard DPO degrades it. The contribution is naming the deployment nuisance covariance, stating what the regulariser must do, and supplying a closed-form falsifiable theory once that object is identified, not universality on every leaderboard.
• Abstract（参考訳）: ロバストネス、ドメイン適応、測光およびオクルージョン不変性、組成一般化、時間的堅牢性、アライメント安全性、古典的異方性正規化は、通常、別のメソッドファミリーで別々の問題として扱われる。 この論文は、共有構造の多くは統計的な問題であり、ラベル保存された展開ニュアンスの共分散を推定し、その共分散をカバーしている行列に沿ってエンコーダジャコビアンを正則化する(マッチング原理)。 コーラル、敵対的トレーニング、IRM、拡張、計量学習、ヤコビの罰則、アライメントスタイルの制約は、独立した頑健さのトリックではなく、そのオブジェクトの異なる推定要素である。 線形ガウスモデルでは、整合域内の立方体根水充填を含む閉形式最適性 (Theorem A) を証明し、二次ヤコビ刑の範囲被覆の必要性 (Theorem G) 、深部大域ミニマにおける同じ範囲二分法(Lemma C; Corollaries E) 、2つのファルシフィケーション制御 (Lemma C; Corollaries E) と、7つの条件整合補題 (D1-D7) を標準識別可能性仮定で推定する。 本稿では,タスク精度やヤコビアン・フロベニウスノルムが不十分な場合,ラベルのない埋め込み感度プローブであるトラジェクトリ偏差指数(TDI)を導入する。 古典的MLからQwen2.5-7Bまでの13のプレ登録ブロックは、予測された一致し、それから等方的、次に不規則に、幾何と展開のドリフトを順守し、12のパスと唯一の例外(Office-31)は、実行前に名付けられた固有ギャップの故障である。 7Bスケールでは、マッチしたスタイル-PMHは選択的誠実さを改善し、標準のDPOが劣化したスタイルTDIを保存する。 この貢献は、配置のニュアンス共分散を命名し、レギュラーがすべきことを記述し、その物体が特定されたとき、すべてのリーダーボード上の普遍性ではなく、クローズド形式の偽造可能な理論を提供することである。

関連論文リスト

• The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards [1.667501390377158]
  グループ相対的なポリシー最適化は、動的サンプリングによって非コントラストのロールアウトグループを捨てることができる。 我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。
  論文  参考訳（メタデータ） (2026-09-12T10:36:55Z)
• The Cost of Adaptivity: Matching Lower Bounds Across Learning Problems [1.0742675209112622]
  我々はスライス正規化ミニマックス比を用いてニュアンス適応を定式化する。 また、事前発表された1つのガウスクエリから任意のポストホックインスペクションへ拡張するコストを定義する。
  論文  参考訳（メタデータ） (2026-08-09T17:19:11Z)
• When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis [0.16921396880325779]
  LOOPを使用したAppWorldエージェントベンチマークでは、トレーニングの難しさ-1と難易度-2のQwen3-8Bスペシャリスト。 私たちはそれら(TIES、RAM+)をマージし、同じデータ上で共同でトレーニングされたモデルに対して結果を落とします。 タスクゴール完了では、マージは共同RLと一致し、すべてのマージ変種は統計的に区別できない。
  論文  参考訳（メタデータ） (2026-07-17T15:41:09Z)
• Bayesian Wind Tunnels for Model Selection [0.4779196219827507]
  変圧器は固定仮説クラス内で正確にベイズフィルタを行うことができることを示す。 離散統計学が算術を必要とする場合、モデル選択は整数トークンで成功する。 定常性制御は、安定なセマンティクスであり、整数のアイデンティティではなく回路のコンパイルを可能にする。
  論文  参考訳（メタデータ） (2026-07-01T04:05:08Z)
• Matrix-Decoupled Concentration for Autoregressive Sequences: Dimension-Free Guarantees for Sparse Long-Context Rewards [0.36260136172126667]
  自己回帰型大規模言語モデルにおけるシーケンスレベル評価のための厳密な集中境界の確立方法を示す。 厳密な因果関係の枠組み内で報酬の座標的間隔を保存することにより、長文推論の安定性に対する厳密な数学的正当性を提供する。
  論文  参考訳（メタデータ） (2026-05-07T11:12:59Z)
• Supervised Learning Has a Necessary Geometric Blind Spot: Theory, Consequences, and Minimal Repair [0.5854803320592717]
  教師付き損失を最小限に抑えるエンコーダはトレーニングラベルと相関する方向に沿って非ゼロ感度を保たなければならないことを示す。 これを教師付き学習の幾何学的盲点と呼んでいる。
  論文  参考訳（メタデータ） (2026-04-23T08:03:33Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Ordinal Label-Distribution Learning with Constrained Asymmetric Priors for Imbalanced Retinal Grading [9.147336466586017]
  糖尿病網膜症は、本質的には順序性で長い尾を持つ。 制約付き非対称先行ワッサースタインオートエンコーダ(CAP-WAE)を提案する。 CAP-WAEは、最先端の4重み付きカッパ、精度、マクロF1を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-30T11:58:49Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Joint Noise-Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re-Identification [60.36551512902312]
  unsupervised person re-identification (re-ID) は、ラベルのないデータで識別モデルを学ぶことを目的としている。 一般的な方法としては、クラスタ化によって擬似ラベルを取得し、モデルを最適化するために使用する方法がある。 本稿では,両問題を解決するための統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-08T09:13:06Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)
• Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions [0.0]
  統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
  論文  参考訳（メタデータ） (2020-08-13T11:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。