論文の概要: Topology-aware Robust Optimization for Out-of-distribution Generalization

• arxiv url: http://arxiv.org/abs/2307.13943v1
• Date: Wed, 26 Jul 2023 03:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 13:37:24.064769
• Title: Topology-aware Robust Optimization for Out-of-distribution Generalization
• Title（参考訳）: 分散一般化のためのトポロジーアウェアロバスト最適化
• Authors: Fengchun Qiao, Xi Peng
• Abstract要約: アウト・オブ・ディストリビューション(OOD)の一般化は難しい機械学習問題であるが、多くの高スループットアプリケーションで非常に望ましい。 本稿では,分散トポロジを原理的最適化フレームワークにシームレスに統合するトポロジ対応ロバスト最適化(TRO)を提案する。 提案手法の有効性を理論的に実証し, 分類, 回帰, セマンティックセグメンテーションを含む幅広いタスクにおいて, 芸術の状態を著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 18.436575017126323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) generalization is a challenging machine learning problem yet highly desirable in many high-stake applications. Existing methods suffer from overly pessimistic modeling with low generalization confidence. As generalizing to arbitrary test distributions is impossible, we hypothesize that further structure on the topology of distributions is crucial in developing strong OOD resilience. To this end, we propose topology-aware robust optimization (TRO) that seamlessly integrates distributional topology in a principled optimization framework. More specifically, TRO solves two optimization objectives: (1) Topology Learning which explores data manifold to uncover the distributional topology; (2) Learning on Topology which exploits the topology to constrain robust optimization for tightly-bounded generalization risks. We theoretically demonstrate the effectiveness of our approach and empirically show that it significantly outperforms the state of the arts in a wide range of tasks including classification, regression, and semantic segmentation. Moreover, we empirically find the data-driven distributional topology is consistent with domain knowledge, enhancing the explainability of our approach.
• Abstract（参考訳）: out-of-distribution (ood) 一般化は、多くの高スループットアプリケーションにおいて非常に望ましい機械学習問題である。 既存の手法は、一般化の信頼性の低い過度な悲観的モデリングに苦しむ。 任意のテスト分布を一般化することは不可能であるため、分布のトポロジーのさらなる構造は強力なOODレジリエンスを開発する上で重要であると仮定する。 そこで本研究では,分散トポロジを原理最適化フレームワークでシームレスに統合するトポロジ対応ロバスト最適化(TRO)を提案する。 より具体的には、troは、2つの最適化目標を解決している: 1) 分布トポロジーを明らかにするためにデータ多様体を探索するトポロジー学習; (2) トポロジーを利用したトポロジーの学習。 本手法の有効性を理論的に実証し, 分類, 回帰, 意味セグメンテーションなど幅広いタスクにおいて, 芸術の状態を著しく上回っていることを実証的に示す。 さらに、データ駆動分布トポロジーはドメイン知識と一貫性があることを実証的に見出し、このアプローチの説明可能性を高めた。

関連論文リスト

• A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
  クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。 確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。 符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
  論文  参考訳（メタデータ） (2024-09-11T05:10:32Z)
• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• The Price of Implicit Bias in Adversarially Robust Generalization [25.944485657150146]
  頑健な経験的リスク最小化(robust ERM)における最適化の暗黙バイアスについて検討する。 本研究では,ロバストEMMにおける最適化の暗黙バイアスがモデルのロバスト性に大きな影響を与えることを示す。
  論文  参考訳（メタデータ） (2024-06-07T14:44:37Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Distributionally Robust Fair Principal Components via Geodesic Descents [16.440434996206623]
  大学入学、医療、信用承認などのその後の領域では、学習予測の公正性や堅牢性といった新たな基準を考慮に入れることが不可欠である。 本稿では,主成分分析のための分布的ロバストな最適化問題を提案する。 実世界のデータセットに対する実験結果から,提案手法が最先端のベースラインに対して有益であることを示す。
  論文  参考訳（メタデータ） (2022-02-07T11:08:13Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。