論文の概要: Mixed-feature Logistic Regression Robust to Distribution Shifts

• arxiv url: http://arxiv.org/abs/2503.12012v1
• Date: Sat, 15 Mar 2025 06:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:33:33.968499
• Title: Mixed-feature Logistic Regression Robust to Distribution Shifts
• Title（参考訳）: 分散シフトに対する混合機能ロジスティック回帰ロバスト
• Authors: Qingshi Sun, Nathan Justin, Andres Gomez, Phebe Vayanos,
• Abstract要約: 本研究では,データ分布の対角的実現に対して最善を尽くすモデルを求めるロジスティック回帰問題について検討する。 本稿では,既製の最適化解法に統合可能なグラフベースの解法を提案する。
• 参考スコア（独自算出の注目度）: 1.957963207352318
• License:
• Abstract: Logistic regression models are widely used in the social and behavioral sciences and in high-stakes domains, due to their simplicity and interpretability properties. At the same time, such domains are permeated by distribution shifts, where the distribution generating the data changes between training and deployment. In this paper, we study a distributionally robust logistic regression problem that seeks the model that will perform best against adversarial realizations of the data distribution drawn from a suitably constructed Wasserstein ambiguity set. Our model and solution approach differ from prior work in that we can capture settings where the likelihood of distribution shifts can vary across features, significantly broadening the applicability of our model relative to the state-of-the-art. We propose a graph-based solution approach that can be integrated into off-the-shelf optimization solvers. We evaluate the performance of our model and algorithms on numerous publicly available datasets. Our solution achieves a 408x speed-up relative to the state-of-the-art. Additionally, compared to the state-of-the-art, our model reduces average calibration error by up to 36.19% and worst-case calibration error by up to 41.70%, while increasing the average area under the ROC curve (AUC) by up to 18.02% and worst-case AUC by up to 48.37%.
• Abstract（参考訳）: ロジスティック回帰モデルは、社会的および行動科学や高い領域において、その単純さと解釈可能性の性質のために広く使われている。 同時に、そのようなドメインは、トレーニングとデプロイメントの間にデータを生成するディストリビューションが変化する分散シフトによって浸透する。 本稿では、適切に構築されたワッサーシュタイン曖昧性集合から引き出されたデータ分布の対角的実現に対して、最適に機能するモデルを求める、分布的に頑健なロジスティック回帰問題について検討する。 我々のモデルとソリューションのアプローチは、機能間で分布シフトの確率が変化するような設定をキャプチャできるという点において、以前の方法と異なる。 本稿では,既製の最適化解法に統合可能なグラフベースの解法を提案する。 我々は,多数の公開データセットに対して,モデルとアルゴリズムの性能を評価する。 我々の解は最先端と比較して408倍のスピードアップを達成する。 さらに, 現状と比較して, 平均校正誤差を36.19%, 最悪の校正誤差を41.70%, ROC曲線(AUC)の平均面積を18.02%, 最悪のAUCを48.37%まで削減した。

関連論文リスト

• An Analysis of Model Robustness across Concurrent Distribution Shifts [6.043526197249358]
  ソースデータに慎重に最適化された機械学習モデルは、分散シフト(DS)に直面した場合、しばしばターゲットデータを予測できない。 8つのデータセットから168つのソース・ターゲットペアにまたがる、単純な拡張からゼロショット推論まで、26のアルゴリズムを評価した。 100Kモデル以上の解析結果から,コンカレントDSは,特定の例外を除いて,単一シフトよりもパフォーマンスが低下することが判明した。
  論文  参考訳（メタデータ） (2025-01-08T05:27:16Z)
• Improving Out-of-Distribution Data Handling and Corruption Resistance via Modern Hopfield Networks [0.0]
  本研究は,コンピュータビジョンモデルによるアウト・オブ・ディストリビューションデータ処理能力の向上における,Modern Hopfield Networks (MHN) の可能性を探るものである。 我々は,MHNをベースラインモデルに統合し,ロバスト性を高めることを提案する。 本研究は,MNIST-Cデータセットのモデル性能を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2024-08-21T03:26:16Z)
• Reducing Spurious Correlation for Federated Domain Generalization [15.864230656989854]
  オープンワールドのシナリオでは、グローバルモデルは特定のメディアによってキャプチャされた全く新しいドメインデータをうまく予測するのに苦労する可能性がある。 既存の手法はまだこの問題に対処するために、サンプルとラベルの間の強い統計的相関に頼っている。 ローカルレベルとグローバルレベルでの全体的な最適化フレームワークであるFedCDを紹介します。
  論文  参考訳（メタデータ） (2024-07-27T05:06:31Z)
• Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls [8.720733751119994]
  逆堅牢最適化(Adversarially robust optimization, ARO)は、テスト中に敵の攻撃に対して防御する訓練モデルのデファクトスタンダードとなっている。 その頑丈さにもかかわらず、これらのモデルはしばしば過度なオーバーフィットに悩まされる。 学習における経験的分布を, (i) あいまいさ集合内の最悪のケース分布, (ii) 補助的データセットから派生した経験的分布の混合に置き換える2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:59:37Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。