論文の概要: Leveraging Task Structures for Improved Identifiability in Neural Network Representations

• arxiv url: http://arxiv.org/abs/2306.14861v3
• Date: Fri, 23 Aug 2024 14:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 20:28:29.798851
• Title: Leveraging Task Structures for Improved Identifiability in Neural Network Representations
• Title（参考訳）: ニューラルネットワーク表現における識別性向上のためのタスク構造の導入
• Authors: Wenlin Chen, Julien Horwood, Juyeon Heo, José Miguel Hernández-Lobato,
• Abstract要約: 教師あり学習における識別可能性の理論を,タスクの分布にアクセスできる結果を考慮して拡張する。 一般マルチタスク回帰設定において線形識別性が達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 31.863998589693065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work extends the theory of identifiability in supervised learning by considering the consequences of having access to a distribution of tasks. In such cases, we show that linear identifiability is achievable in the general multi-task regression setting. Furthermore, we show that the existence of a task distribution which defines a conditional prior over latent factors reduces the equivalence class for identifiability to permutations and scaling of the true latent factors, a stronger and more useful result than linear identifiability. Crucially, when we further assume a causal structure over these tasks, our approach enables simple maximum marginal likelihood optimization, and suggests potential downstream applications to causal representation learning. Empirically, we find that this straightforward optimization procedure enables our model to outperform more general unsupervised models in recovering canonical representations for both synthetic data and real-world molecular data.
• Abstract（参考訳）: この研究は、タスクの分布にアクセスできる結果を考えることにより、教師あり学習における識別可能性の理論を拡張した。 このような場合、一般マルチタスク回帰設定において線形識別性が達成可能であることを示す。 さらに, 条件付き先行要因を定義するタスク分布の存在は, 線形識別可能性よりも強く, 有用である実潜在因子の順列化とスケーリングに対する同一性クラスを減少させることを示した。 重要なことは、これらのタスクに対して因果的構造を更に仮定すると、我々のアプローチは、単純な最大辺縁確率最適化を可能にし、因果的表現学習への潜在的下流応用を提案する。 実験により, この簡単な最適化手法により, 合成データと実世界の分子データの両方に対する標準表現の復元において, より一般的な教師なしモデルよりも優れていることがわかった。

関連論文リスト

• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Differentiable Causal Discovery For Latent Hierarchical Causal Models [19.373348700715578]
  非線形潜在階層因果モデルの同定可能性に関する新しい理論的結果を示す。 我々は,そのようなモデルの構造を効率的に推定する,新しい微分可能な因果探索アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-29T09:08:20Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Predictive Coding beyond Correlations [59.47245250412873]
  このようなアルゴリズムのうちの1つは、予測符号化と呼ばれ、因果推論タスクを実行することができるかを示す。 まず、予測符号化の推論過程における簡単な変化が、因果グラフを再利用したり再定義したりすることなく、介入を計算できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T13:57:16Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。