論文の概要: On the Fundamental Trade-offs in Learning Invariant Representations

• arxiv url: http://arxiv.org/abs/2109.03386v1
• Date: Wed, 8 Sep 2021 01:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 04:44:37.010928
• Title: On the Fundamental Trade-offs in Learning Invariant Representations
• Title（参考訳）: 学習不変表現の基本的なトレードオフについて
• Authors: Bashir Sadeghi and Vishnu Boddeti
• Abstract要約: データとそれに対応するターゲットとセマンティック属性間の統計的依存関係によって引き起こされるユーティリティとセマンティック依存の2つの基本的なトレードオフを特定し、決定する。 本稿では,代表問題に対するトレードオフを数値的に定量化し,ベースライン表現学習アルゴリズムによる解と比較する。
• 参考スコア（独自算出の注目度）: 7.868449549351487
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many applications of representation learning, such as privacy-preservation, algorithmic fairness and domain adaptation, desire explicit control over semantic information being discarded. This goal is often formulated as satisfying two potentially competing objectives: maximizing utility for predicting a target attribute while simultaneously being independent or invariant with respect to a known semantic attribute. In this paper, we \emph{identify and determine} two fundamental trade-offs between utility and semantic dependence induced by the statistical dependencies between the data and its corresponding target and semantic attributes. We derive closed-form solutions for the global optima of the underlying optimization problems under mild assumptions, which in turn yields closed formulae for the exact trade-offs. We also derive empirical estimates of the trade-offs and show their convergence to the corresponding population counterparts. Finally, we numerically quantify the trade-offs on representative problems and compare to the solutions achieved by baseline representation learning algorithms.
• Abstract（参考訳）: プライバシ保存、アルゴリズム的公平性、ドメイン適応といった表現学習の多くの応用は、廃棄される意味情報の明示的な制御を欲する。 この目標は、しばしば2つの潜在的な競合目標を満たすものとして定式化される: 既知の意味属性に対して独立または不変であると同時に、目標属性を予測するユーティリティを最大化する。 本稿では,データとそれに対応するターゲットとセマンティック属性間の統計的依存関係によって引き起こされるユーティリティとセマンティック依存の2つの基本的なトレードオフを同定し,決定する。 我々は、緩やかな仮定の下で、基礎となる最適化問題を大域的に最適化するための閉形式解を導出する。 また、トレードオフの実証的な見積もりを導き、対応する人口との収束を示す。 最後に,代表問題のトレードオフを数値的に定量化し,ベースライン表現学習アルゴリズムによる解と比較する。

関連論文リスト

• Bridging Domains with Approximately Shared Features [26.096779584142986]
  マルチソースドメイン適応は、未知のドメインに機械学習モデルを適用する際のパフォーマンス劣化を低減することを目的としている。 ソースドメインから不変の機能を学ぶことを支持する者もいれば、より多様な機能を好む者もいる。 本稿では,それらの相関関係のばらつきに基づいて特徴の効用を識別し,ドメイン間で$y$のラベルを付ける統計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T04:25:41Z)
• Robust Data-driven Prescriptiveness Optimization [4.792851066169871]
  本稿では、古典的経験的リスク目標最小化に代えて、規範性の係数が代わる分布的ロバストな文脈最適化モデルを提案する。 サンプル外データセットが様々な分散シフトを受ける場合の代替手法に対する結果のロバスト性を評価する。
  論文  参考訳（メタデータ） (2023-06-09T14:56:06Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition [59.52434325897716]
  DMUE(DMUE)という,アノテーションのあいまいさを2つの視点から解決するソリューションを提案する。 前者に対しては,ラベル空間における潜伏分布をよりよく記述するために,補助的マルチブランチ学習フレームワークを導入する。 後者の場合、インスタンス間の意味的特徴のペアワイズ関係を完全に活用して、インスタンス空間のあいまいさの程度を推定する。
  論文  参考訳（メタデータ） (2021-04-01T03:21:57Z)
• Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction [54.06292969184476]
  シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。 本手法では,論理文の正確な意味を捉える意味的損失を用いる。 低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-20T00:16:29Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。