論文の概要: Principled Knowledge Extrapolation with GANs
- arxiv url: http://arxiv.org/abs/2205.13444v1
- Date: Sat, 21 May 2022 08:39:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-29 20:27:27.062542
- Title: Principled Knowledge Extrapolation with GANs
- Title(参考訳): GANを用いた原理的知識外挿
- Authors: Ruili Feng, Jie Xiao, Kecheng Zheng, Deli Zhao, Jingren Zhou, Qibin
Sun, Zheng-Jun Zha
- Abstract要約: 我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
- 参考スコア(独自算出の注目度): 92.62635018136476
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human can extrapolate well, generalize daily knowledge into unseen scenarios,
raise and answer counterfactual questions. To imitate this ability via
generative models, previous works have extensively studied explicitly encoding
Structural Causal Models (SCMs) into architectures of generator networks. This
methodology, however, limits the flexibility of the generator as they must be
carefully crafted to follow the causal graph, and demands a ground truth SCM
with strong ignorability assumption as prior, which is a nontrivial assumption
in many real scenarios. Thus, many current causal GAN methods fail to generate
high fidelity counterfactual results as they cannot easily leverage
state-of-the-art generative models. In this paper, we propose to study
counterfactual synthesis from a new perspective of knowledge extrapolation,
where a given knowledge dimension of the data distribution is extrapolated, but
the remaining knowledge is kept indistinguishable from the original
distribution. We show that an adversarial game with a closed-form discriminator
can be used to address the knowledge extrapolation problem, and a novel
principal knowledge descent method can efficiently estimate the extrapolated
distribution through the adversarial game. Our method enjoys both elegant
theoretical guarantees and superior performance in many scenarios.
- Abstract(参考訳): 人間はよく外挿し、日々の知識を未熟なシナリオに一般化し、反事実的疑問を提起し、答えることができる。
この能力を生成モデルで再現するため、以前の研究では、構造因果モデル(SCM)を生成ネットワークのアーキテクチャに明示的にエンコードする研究が盛んに行われている。
しかし、この手法は因果グラフに従わなければならないためジェネレータの柔軟性を制限し、多くの実シナリオにおいて非自明な仮定である強い無知の仮定を持つ基底真理SCMを要求する。
したがって、現在の因果GAN法の多くは、最先端の生成モデルを容易に活用できないため、高い忠実度対実結果を生成することができない。
本稿では,データ分布の与えられた知識次元が外挿される知識外挿という新たな視点から,反実合成を研究することを提案するが,残りの知識は元の分布と区別できない。
本稿では, 閉形式判別器を用いた対角ゲームを用いて知識外挿問題に対処できることを示し, 新たな主知識降下法により, 対角ゲームを通して外挿分布を効率的に推定できることを示す。
本手法は多くのシナリオにおいてエレガントな理論保証と優れた性能の両方を享受する。
関連論文リスト
- Deep Learning With DAGs [5.199807441687141]
我々は、有向非巡回グラフ(DAG)として表される理論を実証的に評価するために、因果グラフ正規化フロー(cGNFs)を導入する。
従来のアプローチとは異なり、cGNFsはアナリストが提供したDAGに従ってデータの完全な関節分布をモデル化する。
論文 参考訳(メタデータ) (2024-01-12T19:35:54Z) - Combining inherent knowledge of vision-language models with unsupervised
domain adaptation through self-knowledge distillation [49.65728535989119]
教師なしドメイン適応(UDA)は、ラベル付きソースデータセットを活用することで、データのラベル付けの面倒な作業を克服しようとする。
現在の視覚言語モデルは驚くべきゼロショット予測能力を示している。
UDAを通じて得られた知識と、視覚言語モデルの本質的な知識を組み合わせる。
論文 参考訳(メタデータ) (2023-12-07T06:16:39Z) - R-Tuning: Teaching Large Language Models to Refuse Unknown Questions [68.60002086172133]
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
このアプローチは、まずパラメトリック知識と命令チューニングデータの間の知識ギャップを識別することによって定式化される。
実験により、この新しい命令チューニングアプローチは、既知の質問に答えるモデルの能力を効果的に改善することを示した。
論文 参考訳(メタデータ) (2023-11-16T08:45:44Z) - Power Grid Behavioral Patterns and Risks of Generalization in Applied
Machine Learning [0.0]
本稿では,電力グリッドの動作パターンに関する知見を提供するために,実世界の運用データについて検討する。
モデル設計とトレーニングにおけるグリッド固有のパターンを無視した既存ML作業の一般化リスクを評価する。
論文 参考訳(メタデータ) (2023-04-21T02:09:10Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳(メタデータ) (2022-06-30T02:35:04Z) - Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。
我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。
この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
論文 参考訳(メタデータ) (2021-12-17T20:10:00Z) - Multicriteria interpretability driven Deep Learning [0.0]
ディープラーニングの手法はパフォーマンスで有名だが、その解釈可能性の欠如は、高い文脈での学習を妨げている。
近年のモデル手法では、モデルの内部動作をリバースエンジニアリングすることで、ポストホック解釈可能性法を提供することでこの問題に対処している。
本稿では,目的関数に知識を注入することで,モデルの結果に特徴的影響を制御できるマルチクレータ非依存手法を提案する。
論文 参考訳(メタデータ) (2021-11-28T09:41:13Z) - Incorporating Causal Graphical Prior Knowledge into Predictive Modeling
via Simple Data Augmentation [92.96204497841032]
因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。
本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。
本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
論文 参考訳(メタデータ) (2021-02-27T06:13:59Z) - Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。
CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。
複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2020-08-12T06:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。