論文の概要: Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift

• arxiv url: http://arxiv.org/abs/2406.00661v1
• Date: Sun, 2 Jun 2024 08:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:56:22.793193
• Title: Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift
• Title（参考訳）: 共変量シフトを超えたブリッジング多重校正とアウト・オブ・ディストリビューション一般化
• Authors: Jiayun Wu, Jiashuo Liu, Peng Cui, Zhiwei Steven Wu,
• Abstract要約: マルチキャリブレーションによるアウト・オブ・ディストリビューションの一般化のための新しいモデルに依存しない最適化フレームワークを構築した。 本稿では,マルチキャリブレーションとアウト・オブ・ディストリビューションの一般化を両立させるポストプロセッシングアルゴリズムMC-Pseudolabelを提案する。
• 参考スコア（独自算出の注目度）: 44.708914058803224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish a new model-agnostic optimization framework for out-of-distribution generalization via multicalibration, a criterion that ensures a predictor is calibrated across a family of overlapping groups. Multicalibration is shown to be associated with robustness of statistical inference under covariate shift. We further establish a link between multicalibration and robustness for prediction tasks both under and beyond covariate shift. We accomplish this by extending multicalibration to incorporate grouping functions that consider covariates and labels jointly. This leads to an equivalence of the extended multicalibration and invariance, an objective for robust learning in existence of concept shift. We show a linear structure of the grouping function class spanned by density ratios, resulting in a unifying framework for robust learning by designing specific grouping functions. We propose MC-Pseudolabel, a post-processing algorithm to achieve both extended multicalibration and out-of-distribution generalization. The algorithm, with lightweight hyperparameters and optimization through a series of supervised regression steps, achieves superior performance on real-world datasets with distribution shift.
• Abstract（参考訳）: 重なり合うグループ群で予測器を校正する基準であるマルチキャリブレーションにより、分配外一般化のための新しいモデルに依存しない最適化フレームワークを構築した。 マルチキャリブレーションは、共変量シフトの下での統計的推測の堅牢性と関連している。 さらに、共変量シフトの内外における予測タスクに対する多重校正とロバストネスの関連性を確立する。 我々は、共変量やラベルを共同で考える群化関数を組み込むために、多重校正を拡張してこれを達成した。 これは、概念シフトの存在における堅牢な学習の目的である拡張多重校正と不変性の等価性をもたらす。 本研究では, グループ化関数の線形構造を密度比で表し, 特定のグループ化関数を設計することによって, 頑健な学習のための統一的な枠組みを導出する。 本稿では,マルチキャリブレーションとアウト・オブ・ディストリビューションの一般化を両立させるポストプロセッシングアルゴリズムMC-Pseudolabelを提案する。 このアルゴリズムは、軽量なハイパーパラメータと一連の教師付き回帰ステップによる最適化により、分散シフトを伴う実世界のデータセット上での優れたパフォーマンスを実現する。

関連論文リスト

• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• On the Convergence of Coordinate Ascent Variational Inference [11.166959724276337]
  平均場 (MF) VI を実装するための共通座標アセント変分推論 (CAVI) アルゴリズムについて検討する。 我々はCAVIの大域的あるいは局所的な指数収束を証明するための一般的な条件を提供する。 目的関数に影響を及ぼす構成ブロック間の相互作用を特徴付けるための一般化相関の新しい概念を紹介する。
  論文  参考訳（メタデータ） (2023-06-01T20:19:30Z)
• A Unifying Perspective on Multi-Calibration: Game Dynamics for Multi-Objective Learning [63.20009081099896]
  マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。 ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
  論文  参考訳（メタデータ） (2023-02-21T18:24:17Z)
• Multi-Task Learning with Prior Information [5.770309971945476]
  本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。 また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
  論文  参考訳（メタデータ） (2023-01-04T12:48:05Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• An Exploration of Multicalibration Uniform Convergence Bounds [25.500680663483624]
  本稿では,経験的リスク最小化学習のためのサンプル複雑度を再パラメータ化することにより,多重校正誤差の均一収束境界を求めるフレームワークを提案する。 この枠組みから,マルチキャリブレーション誤差は分類器のアーキテクチャや基礎となるデータ分布に依存することを示す。
  論文  参考訳（メタデータ） (2022-02-09T15:48:10Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Generalized Adversarially Learned Inference [42.40405470084505]
  我々は、画像生成器とエンコーダを逆向きにトレーニングし、画像と潜時ベクトル対の2つの結合分布を一致させることにより、GAN内の潜時変数を推定する方法を開発した。 我々は、望まれるソリューションに関する事前または学習知識に基づいて、再構築、自己監督、その他の形式の監督に関する複数のフィードバック層を組み込んだ。
  論文  参考訳（メタデータ） (2020-06-15T02:18:13Z)
• Robust Grouped Variable Selection Using Distributionally Robust Optimization [11.383869751239166]
  摂動下での群付き変数選択のための不確実性セットを用いた分布ロバスト最適化(DRO)の定式化を提案する。 我々は,サンプル外損失と推定バイアスの確率的境界を証明し,推定器の群化効果を確立する。 我々の定式化は,群レベルでの空間性を促進する解釈可能で同相なモデルを生成することを示す。
  論文  参考訳（メタデータ） (2020-06-10T22:32:52Z)
• Ensemble Model with Batch Spectral Regularization and Data Blending for Cross-Domain Few-Shot Learning with Unlabeled Data [75.94147344921355]
  多様な特徴変換行列を用いてマルチブランチアンサンブルフレームワークを構築する。 本研究では,未ラベルデータを利用したデータブレンディング手法を提案し,対象領域におけるスパースサポートを増強する。
  論文  参考訳（メタデータ） (2020-06-08T02:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。