論文の概要: On the Limits of Maximal Coding Rate Reduction for Out-of-Distribution Generalisation
- arxiv url: http://arxiv.org/abs/2609.21001v1
- Date: Thu, 17 Sep 2026 18:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.757964
- Title: On the Limits of Maximal Coding Rate Reduction for Out-of-Distribution Generalisation
- Title（参考訳）: アウト・オブ・ディストリビューション一般化のための最大符号化速度削減の限界について
- Abstract要約: 提案する最大符号化レートの削減(mathrmMCR2$)は、クラスワイズ部分多様体の構造化された識別的表現を学習するための有望な情報理論フレームワークを提供する。
分布シフトで$mathrmMCR2$が完全にフェールすることを観察する。
- 参考スコア（独自算出の注目度）: 5.385411679536252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Substantial efforts have been devoted to making deep learning objectives, representations, and architectures interpretable, with the goal of improving the safety, robustness, and generalisation of learning systems in diverse real-world applications. The recently proposed maximal coding rate reduction ($\mathrm{MCR}^{2}$) offers a promising information-theoretic framework for learning structured, discriminative representations of class-wise submanifolds and has inspired interpretable white-box architectures. However, we observe that $\mathrm{MCR}^{2}$ can completely fail under distribution shift, motivating our study of its out-of-distribution (OOD) generalisation limits. We establish two limitations of $\mathrm{MCR}^{2}$ for OOD generalisation. First, the $\mathrm{MCR}^{2}$ objective alone can admit complete prediction failure: a representation based entirely on unstable environmental features can achieve the global coding optimum yet fail completely after correlation reversal, despite an available perfectly stable feature. This exact-optimum example includes test inputs that cannot occur during training. Even when every possible test input can also occur during training, coding quality can be arbitrarily close to optimal while prediction error is arbitrarily close to 100%. Second, directly incorporating the invariance principle underlying widely successful invariant risk minimisation (IRM) and risk extrapolation (REx) does not eliminate this failure. The failing representation admits the same optimal coding operator across training environments, showing that shared coding optimality does not ensure stable prediction. Reliable OOD guarantees for $\mathrm{MCR}^{2}$ therefore require additional new assumptions or learning principles that establish stable predictive relationships across environments.
- Abstract（参考訳）: さまざまな現実世界のアプリケーションにおいて、学習システムの安全性、堅牢性、一般化を改善することを目的として、ディープラーニングの目標、表現、アーキテクチャを解釈可能にするために、実質的な努力が注がれている。
最近提案された最大符号化レートの削減("\mathrm{MCR}^{2}$")は、クラスワイド部分多様体の構造化された識別的表現を学習するための有望な情報理論フレームワークを提供し、解釈可能なホワイトボックスアーキテクチャにインスピレーションを与えている。
しかしながら、$\mathrm{MCR}^{2}$ は分布シフトの下で完全に失敗し、その分布外分布(OOD)一般化限界の研究を動機付けている。
我々は OOD 一般化のために $\mathrm{MCR}^{2}$ の2つの極限を確立する。
まず、$\mathrm{MCR}^{2}$の目的だけで完全な予測失敗を認めることができる: 完全に不安定な環境特徴に基づく表現は、完全な安定な特徴があるにもかかわらず、相関反転後のグローバルな符号化最適化を達成することができるが、完全に失敗する。
この正確な最適例は、トレーニング中に起こり得ないテスト入力を含んでいる。
トレーニング中に可能なテスト入力がすべて発生しても、コード品質は任意に最適に近づき、予測エラーは任意に100%に近い。
第2に、広範に成功した不変リスク最小化(IRM)とリスク外挿(REx)に基づく不変原理を直接組み込むことは、この失敗を排除しない。
フェール表現は、トレーニング環境全体で同じ最適な符号化演算子を認め、共有符号化の最適性が安定した予測を保証しないことを示す。
したがって、信頼性の高いOODは$\mathrm{MCR}^{2}$を保証します。
関連論文リスト
- Learning-Theoretic Foundation for General Coded Computing: The Straggler Setting [21.347076448562863]
コードコンピューティングは、分散コンピューティングシステムにおけるストラグリングワーカーの影響を軽減するための強力なパラダイムとして登場した。
General Coded Computing (GCC) は、コード化された計算をエンドツーエンドの平均二乗誤差損失によって定式化する。
2つの相補的なストラグラー体制の下で理論的性能を確立する。
論文 参考訳（メタデータ） (2026-08-28T22:18:22Z) - \mathsf{VISTA}: Decentralized Machine Learning in Adversary Dominated Environments [21.69919643934826]
分散機械学習は、評価などのアウトソーシング計算を信頼できないワーカノードに頼っていることが多い。
本稿では, 相互に整合性がある場合にのみ, 報告を受理し, 報奨するインセンティブ指向の枠組みを通じて, 敵に支配される設定について検討する。
本稿では,最適化履歴を用いた適応アルゴリズムであるmathsfVISTAを提案する。
論文 参考訳（メタデータ） (2026-05-08T15:07:15Z) - Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。
我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
論文 参考訳（メタデータ） (2026-04-01T02:01:30Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - Benign Overfitting in Out-of-Distribution Generalization of Linear Models [19.203753135860016]
我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。
我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。
また、より一般的な目標共分散行列の族についても理論的結果を示す。
論文 参考訳（メタデータ） (2024-12-19T02:47:39Z) - Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。
本稿では,複数の環境における回帰モデルにおける非パラメトリック不変性と因果学習に対処するアルゴリズムを提案する。
提案したFocused Adrial Invariant Regularizationフレームワークは、逆検定により回帰モデルを予測不変解へ向ける革新的なミニマックス最適化手法を利用する。
論文 参考訳（メタデータ） (2024-05-07T23:37:40Z) - Achieving the Asymptotically Optimal Sample Complexity of Offline Reinforcement Learning: A DRO-Based Approach [36.88301225561535]
オフライン強化学習は、アクティブな探索なしに、事前に収集されたデータセットから学習することを目的としている。
既存のアプローチでは、不確実性に対する悲観的なスタンスを採用し、探索されていない状態-作用対の報酬を、保守的に値関数を推定する。
分散ロバスト最適化(DRO)に基づくアプローチはこれらの課題にも対処でき、漸近的に最小限の最適化であることを示す。
論文 参考訳（メタデータ） (2023-05-22T17:50:18Z) - When Demonstrations Meet Generative World Models: A Maximum Likelihood
Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。
タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文 参考訳（メタデータ） (2023-02-15T04:14:20Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。