論文の概要: Dependence Induced Representations

• arxiv url: http://arxiv.org/abs/2411.15328v1
• Date: Fri, 22 Nov 2024 19:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:01.894948
• Title: Dependence Induced Representations
• Title（参考訳）: 依存による表現
• Authors: Xiangxiang Xu, Lizhong Zheng,
• Abstract要約: 本研究では,一対の確率変数から特徴表現を学習する問題について考察する。 このような依存誘導表現のための十分かつ必要な条件を提供し、ヒルシュフェルト--ゲベライン--R'enyi (HGR) の最大相関関数と最小の十分統計量との接続を説明する。
• 参考スコア（独自算出の注目度）: 5.807950618412389
• License:
• Abstract: We study the problem of learning feature representations from a pair of random variables, where we focus on the representations that are induced by their dependence. We provide sufficient and necessary conditions for such dependence induced representations, and illustrate their connections to Hirschfeld--Gebelein--R\'{e}nyi (HGR) maximal correlation functions and minimal sufficient statistics. We characterize a large family of loss functions that can learn dependence induced representations, including cross entropy, hinge loss, and their regularized variants. In particular, we show that the features learned from this family can be expressed as the composition of a loss-dependent function and the maximal correlation function, which reveals a key connection between representations learned from different losses. Our development also gives a statistical interpretation of the neural collapse phenomenon observed in deep classifiers. Finally, we present the learning design based on the feature separation, which allows hyperparameter tuning during inference.
• Abstract（参考訳）: 本研究では,一対の確率変数から特徴表現を学習する問題について考察する。 このような依存誘導表現に対して十分かつ必要な条件を提供し、ヒルシュフェルト--ゲベライン--R\'{e}nyi (HGR) の最大相関関数と最小の十分統計量との接続を説明する。 我々は、クロスエントロピー、ヒンジ損失、およびそれらの正規化された変種を含む、依存誘発表現を学習できる多くの損失関数を特徴付ける。 特に, この家系から得られた特徴は, 損失依存関数と最大相関関数の合成として表現できることを示す。 我々の発達は、深層分類器で観察される神経崩壊現象の統計的解釈も与えている。 最後に,特徴分離に基づく学習設計を提案する。

関連論文リスト

• An Overview of Causal Inference using Kernel Embeddings [14.298666697532838]
  カーネル埋め込みは、様々な統計的推論問題における確率測度を表現する強力なツールとして登場した。 主な課題は、因果関係を特定し、観測データから平均的な治療効果を推定することである。
  論文  参考訳（メタデータ） (2024-10-30T07:23:34Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• A Causal Ordering Prior for Unsupervised Representation Learning [27.18951912984905]
  因果表現学習(Causal representation learning)は、データセットの変動の要因は、実際には因果関係にあると主張している。 本稿では,遅延付加雑音モデルを用いたデータ生成過程を考慮した,教師なし表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-11T18:12:05Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Identifying Weight-Variant Latent Causal Models [82.14087963690561]
  推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。 いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。 本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-08-30T11:12:59Z)
• Leveraging Relational Information for Learning Weakly Disentangled Representations [11.460692362624533]
  絡み合いは神経表現を強制するのは難しい性質である。 我々は、(弱々しい)非絡み合い表現の学習に関する別の見解を示す。
  論文  参考訳（メタデータ） (2022-05-20T09:58:51Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。