論文の概要: Fundamental Limits and Tradeoffs in Invariant Representation Learning

• arxiv url: http://arxiv.org/abs/2012.10713v1
• Date: Sat, 19 Dec 2020 15:24:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 11:17:41.315099
• Title: Fundamental Limits and Tradeoffs in Invariant Representation Learning
• Title（参考訳）: 不変表現学習における基本限界とトレードオフ
• Authors: Han Zhao, Chen Dan, Bryon Aragam, Tommi S. Jaakkola, Geoffrey J. Gordon, Pradeep Ravikumar
• Abstract要約: 多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
• 参考スコア（独自算出の注目度）: 99.2368462915979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many machine learning applications involve learning representations that achieve two competing goals: To maximize information or accuracy with respect to a subset of features (e.g.\ for prediction) while simultaneously maximizing invariance or independence with respect to another, potentially overlapping, subset of features (e.g.\ for fairness, privacy, etc). Typical examples include privacy-preserving learning, domain adaptation, and algorithmic fairness, just to name a few. In fact, all of the above problems admit a common minimax game-theoretic formulation, whose equilibrium represents a fundamental tradeoff between accuracy and invariance. Despite its abundant applications in the aforementioned domains, theoretical understanding on the limits and tradeoffs of invariant representations is severely lacking. In this paper, we provide an information-theoretic analysis of this general and important problem under both classification and regression settings. In both cases, we analyze the inherent tradeoffs between accuracy and invariance by providing a geometric characterization of the feasible region in the information plane, where we connect the geometric properties of this feasible region to the fundamental limitations of the tradeoff problem. In the regression setting, we also derive a tight lower bound on the Lagrangian objective that quantifies the tradeoff between accuracy and invariance. This lower bound leads to a better understanding of the tradeoff via the spectral properties of the joint distribution. In both cases, our results shed new light on this fundamental problem by providing insights on the interplay between accuracy and invariance. These results deepen our understanding of this fundamental problem and may be useful in guiding the design of adversarial representation learning algorithms.
• Abstract（参考訳）: 多くの機械学習アプリケーションは、2つの競合する目標を達成する学習表現を含んでいる: 機能のサブセット(例えば、予測のために)に関する情報や精度を最大化し、同時に別の、潜在的に重複している、機能のサブセット(例えば、公正性、プライバシーなど)に関して不変または独立性を最大化する。 典型的な例としては、プライバシー保護学習、ドメイン適応、アルゴリズムフェアネスなどがある。 実際、上記の問題はすべて、その平衡が精度と不変性の基本的なトレードオフを表す、共通のミニマックスゲーム理論の定式化を受け入れている。 上記の領域における豊富な応用にもかかわらず、不変表現の極限とトレードオフに関する理論的理解は著しく不足している。 本稿では,分類と回帰設定の両方において,この一般的かつ重要な問題を情報論的に解析する。 いずれの場合においても、情報平面における実現可能領域の幾何学的特徴付けを提供し、この実現可能領域の幾何学的性質とトレードオフ問題の基本的な制限を結びつけることで、精度と不変性の固有のトレードオフを分析する。 回帰設定では、精度と不変性の間のトレードオフを定量化するラグランジアン目的の厳密な下限も導出する。 この低い境界は、関節分布のスペクトル特性を通じてトレードオフをよりよく理解する。 いずれの場合も,正確性と不変性の間の相互作用に関する洞察を提供することで,この根本的な問題に新たな光を当てた。 これらの結果は、この根本的な問題の理解を深め、対向表現学習アルゴリズムの設計を導くのに役立つかもしれない。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Generalization bounds for regression and classification on adaptive covering input domains [1.4141453107129398]
  一般化誤差の上限となる一般化境界に着目する。 分類タスクの場合、対象関数を1ホット、ピースワイド定数関数として扱い、誤差測定に0/1ロスを用いる。
  論文  参考訳（メタデータ） (2024-07-29T05:40:08Z)
• Domain Adaptation with Cauchy-Schwarz Divergence [39.36943882475589]
  教師なし領域適応(UDA)問題にコーシー=シュワルツの発散を導入する。 CS発散は、Kulback-Leibler発散よりも理論上より厳密な一般化誤差を提供する。 距離距離測定および対角訓練に基づくUDAフレームワークにおいて,CSのばらつきが有用であることを示す。
  論文  参考訳（メタデータ） (2024-05-30T12:01:12Z)
• Demystifying Disagreement-on-the-Line in High Dimensions [34.103373453782744]
  我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。 CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
  論文  参考訳（メタデータ） (2023-01-31T02:31:18Z)
• Leveraging Relational Information for Learning Weakly Disentangled Representations [11.460692362624533]
  絡み合いは神経表現を強制するのは難しい性質である。 我々は、(弱々しい)非絡み合い表現の学習に関する別の見解を示す。
  論文  参考訳（メタデータ） (2022-05-20T09:58:51Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• On the Fundamental Trade-offs in Learning Invariant Representations [7.868449549351487]
  データとそれに対応するターゲットとセマンティック属性間の統計的依存関係によって引き起こされるユーティリティとセマンティック依存の2つの基本的なトレードオフを特定し、決定する。 本稿では,代表問題に対するトレードオフを数値的に定量化し,ベースライン表現学習アルゴリズムによる解と比較する。
  論文  参考訳（メタデータ） (2021-09-08T01:26:46Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。