論文の概要: A theory of independent mechanisms for extrapolation in generative models

• arxiv url: http://arxiv.org/abs/2004.00184v2
• Date: Fri, 31 Dec 2021 18:33:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 17:42:31.880519
• Title: A theory of independent mechanisms for extrapolation in generative models
• Title（参考訳）: 生成モデルにおける外挿の独立機構の理論
• Authors: Michel Besserve, R\'emy Sun, Dominik Janzing and Bernhard Sch\"olkopf
• Abstract要約: 生成モデルは複雑な経験的データをエミュレートするために訓練することができるが、以前は観測されていなかった環境の文脈で予測するのに役立つだろうか? 我々は、メカニズムの独立原理に基づいて、より弱い識別可能性の形式を定義することによって、この課題に対処する理論的枠組みを開発する。 おもちゃの例では、古典的な勾配降下がモデルの外挿能力を阻害し、トレーニング中にメカニズムの独立性を明示的に実施すべきであることを示唆している。
• 参考スコア（独自算出の注目度）: 20.794692397859755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models can be trained to emulate complex empirical data, but are they useful to make predictions in the context of previously unobserved environments? An intuitive idea to promote such extrapolation capabilities is to have the architecture of such model reflect a causal graph of the true data generating process, such that one can intervene on each node independently of the others. However, the nodes of this graph are usually unobserved, leading to overparameterization and lack of identifiability of the causal structure. We develop a theoretical framework to address this challenging situation by defining a weaker form of identifiability, based on the principle of independence of mechanisms. We demonstrate on toy examples that classical stochastic gradient descent can hinder the model's extrapolation capabilities, suggesting independence of mechanisms should be enforced explicitly during training. Experiments on deep generative models trained on real world data support these insights and illustrate how the extrapolation capabilities of such models can be leveraged.
• Abstract（参考訳）: 生成モデルは、複雑な経験的データをエミュレートするように訓練できるが、これまで観測されていなかった環境の文脈で予測を行うのに有用だろうか? このような外挿能力を促進する直感的なアイデアは、そのようなモデルのアーキテクチャが真のデータ生成プロセスの因果グラフを反映し、各ノードに他のノードと独立して介入できるようにすることである。 しかし、このグラフのノードは通常観測されず、過剰パラメータ化と因果構造の識別性の欠如をもたらす。 我々は,メカニズムの独立性の原理に基づいて,より弱い識別可能性を定義することにより,この困難な状況に対処するための理論的枠組みを開発する。 古典的確率勾配降下がモデルの外挿能力を妨げ、トレーニング中にメカニズムの独立性を明示的に実施すべきであることを示す。 実世界データでトレーニングされた深層生成モデルに関する実験は、これらの洞察をサポートし、そのようなモデルの補間能力をどのように活用できるかを説明している。

関連論文リスト

• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants [4.532043501030714]
  マルコフ確率場を符号化する確率的グラフィカルモデルは、生成的モデリングの基本的な構成要素である。 本稿では,これらのモデルの全確率に基づく解析が,計算効率のよい方法で実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-27T02:58:22Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Bayesian Networks for the robust and unbiased prediction of depression and its symptoms utilizing speech and multimodal data [65.28160163774274]
  我々は,抑うつ,抑うつ症状,および,胸腺で収集された音声,表情,認知ゲームデータから得られる特徴の関連性を把握するためにベイズ的枠組みを適用した。
  論文  参考訳（メタデータ） (2022-11-09T14:48:13Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [13.690313475721094]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)
• Instance-Based Neural Dependency Parsing [56.63500180843504]
  依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。 私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
  論文  参考訳（メタデータ） (2021-09-28T05:30:52Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Learning Opinion Dynamics From Social Traces [25.161493874783584]
  本稿では,現実の社会的トレースに,生成的,エージェントライクな意見力学モデルを適用するための推論機構を提案する。 本稿では,古典的エージェントに基づく意見力学モデルから,その生成的モデルへの変換による提案について紹介する。 われわれのモデルをRedditの現実世界のデータに適用して、バックファイア効果の影響に関する長年にわたる疑問を探る。
  論文  参考訳（メタデータ） (2020-06-02T14:48:17Z)
• Structural Regularization [0.0]
  本稿では,統計モデルの正則化として経済理論に基づく構造モデルを用いて,データモデリングの新しい手法を提案する。 本手法は, 構造モデルと非構造正規化統計モデルの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-27T06:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。