論文の概要: Learning Causal Mechanisms through Orthogonal Neural Networks

• arxiv url: http://arxiv.org/abs/2306.03938v1
• Date: Mon, 5 Jun 2023 13:11:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 17:36:35.653000
• Title: Learning Causal Mechanisms through Orthogonal Neural Networks
• Title（参考訳）: 直交ニューラルネットワークによる因果メカニズムの学習
• Authors: Peyman Sheikholharam Mashhadi, Slawomir Nowaczyk
• Abstract要約: 歪みデータポイントから独立したメカニズムの集合の逆転を,教師なしの方法で学習する問題について検討する。 本研究では,ラベルのないデータから独立したメカニズムの集合を発見・解離する教師なしの手法を提案し,それらを逆転する方法を学習する。
• 参考スコア（独自算出の注目度）: 2.77390041716769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A fundamental feature of human intelligence is the ability to infer high-level abstractions from low-level sensory data. An essential component of such inference is the ability to discover modularized generative mechanisms. Despite many efforts to use statistical learning and pattern recognition for finding disentangled factors, arguably human intelligence remains unmatched in this area. In this paper, we investigate a problem of learning, in a fully unsupervised manner, the inverse of a set of independent mechanisms from distorted data points. We postulate, and justify this claim with experimental results, that an important weakness of existing machine learning solutions lies in the insufficiency of cross-module diversification. Addressing this crucial discrepancy between human and machine intelligence is an important challenge for pattern recognition systems. To this end, our work proposes an unsupervised method that discovers and disentangles a set of independent mechanisms from unlabeled data, and learns how to invert them. A number of experts compete against each other for individual data points in an adversarial setting: one that best inverses the (unknown) generative mechanism is the winner. We demonstrate that introducing an orthogonalization layer into the expert architectures enforces additional diversity in the outputs, leading to significantly better separability. Moreover, we propose a procedure for relocating data points between experts to further prevent any one from claiming multiple mechanisms. We experimentally illustrate that these techniques allow discovery and modularization of much less pronounced transformations, in addition to considerably faster convergence.
• Abstract（参考訳）: 人間の知能の基本的な特徴は、低レベルの感覚データから高レベルの抽象化を推測する能力である。 このような推論の重要なコンポーネントは、モジュール化された生成メカニズムを見つける能力である。 統計的学習やパターン認識を不連続な要因を見つけるために多くの努力をしたが、この領域では人間の知性はいまだに一致していない。 本稿では,完全教師なしの方法で,歪んだデータポイントから独立したメカニズム群を逆転させる学習問題について検討する。 我々は、既存の機械学習ソリューションの重要な弱点は、モジュール間の多様化の欠如にあると仮定し、実験結果でこの主張を正当化する。 この人間と機械の知能の重大な相違に対処することは、パターン認識システムにとって重要な課題である。 そこで本稿では,ラベルのないデータから独立したメカニズムの集合を発見し,それらを逆転させる手法を提案する。 多くの専門家が、敵対的な設定で個々のデータポイントを競い合う:(知られていない)生成メカニズムを最も反転させるものは勝者である。 専門家アーキテクチャに直交層を導入することで、出力の多様性が増し、分離性が大幅に向上することを示した。 さらに、専門家間でデータポイントを移動させ、複数のメカニズムを主張できないようにする手法を提案する。 実験により,これらの手法により,より可読な変換の発見とモジュール化が可能となり,また,より高速に収束できることを示す。

関連論文リスト

• Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment [10.814585613336778]
  因果表現学習は、機械学習のコアとなる強みと因果性を組み合わせることを目的としている。 この論文は、CRLが直接の監督なしに何が可能であるかを調査し、理論的基礎に寄与する。
  論文  参考訳（メタデータ） (2024-06-19T09:14:40Z)
• Self-Distilled Disentangled Learning for Counterfactual Prediction [49.84163147971955]
  我々は、SD2$として知られる自己蒸留遠絡フレームワークを提案する。 情報理論を基礎として、複雑な相互情報推定器の設計を伴わずに、理論上独立に不整合表現を鳴らす。 人工と実世界の両方のデータセットを用いて実験を行い,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2024-06-09T16:58:19Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Feature Interaction Aware Automated Data Representation Transformation [27.26916497306978]
  我々は,マルコフ決定過程をカスケードした階層的強化学習構造を開発し,特徴選択と操作選択を自動化する。 我々は、選択された特徴間の相互作用強度に基づいてエージェントに報酬を与える。その結果、人間の意思決定をエミュレートする特徴空間をインテリジェントかつ効率的に探索する。
  論文  参考訳（メタデータ） (2023-09-29T06:48:16Z)
• Understanding Data Augmentation from a Robustness Perspective [10.063624819905508]
  データ拡張は、モデルの堅牢性を増幅するための重要なテクニックとして際立っている。 この写本は、この現象を理解するための理論的および実証的なアプローチを採っている。 我々の経験的評価は、エンブレマ的なデータ拡張戦略の複雑なメカニズムを解明するものである。 これらの洞察は、視覚認識タスクにおけるモデルの安全性と堅牢性を再評価する新しいレンズを提供する。
  論文  参考訳（メタデータ） (2023-09-07T10:54:56Z)
• Rotating Features for Object Discovery [74.1465486264609]
  本稿では,複雑な特徴を高次元に一般化した回転特徴と,分散表現からオブジェクトを抽出する新たな評価手法を提案する。 これらの進歩により、分散オブジェクト中心の表現を単純な玩具から現実世界のデータに拡張することが可能になります。
  論文  参考訳（メタデータ） (2023-06-01T12:16:26Z)
• Few-shot Weakly-supervised Cybersecurity Anomaly Detection [1.179179628317559]
  本稿では,既存の弱教師付きディープラーニング異常検出フレームワークの強化を提案する。 このフレームワークには、データ拡張、表現学習、順序回帰が含まれている。 そして、3つのベンチマークデータセット上で実装したフレームワークの性能を評価した。
  論文  参考訳（メタデータ） (2023-04-15T04:37:54Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。