論文の概要: Occam learning

• arxiv url: http://arxiv.org/abs/2210.13179v1
• Date: Mon, 24 Oct 2022 13:00:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 21:44:26.270884
• Title: Occam learning
• Title（参考訳）: occam学習
• Authors: Rongrong Xie and Matteo Marsili
• Abstract要約: 隠れ層の分布が固定された教師なし学習のための確率論的ニューラルネットワークモデルについて議論する。 例えば、モデルは単純で解釈可能なモデルとして選択できるが、過度にパラメータ化される必要はない。 特徴の無さは特徴の最大無知の状態と一致し、最初の特徴の学習はデータの非ガウス的統計特性に依存することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We discuss probabilistic neural network models for unsupervised learning where the distribution of the hidden layer is fixed. We argue that learning machines with this architecture enjoy a number of desirable properties. For example, the model can be chosen as a simple and interpretable one, it does not need to be over-parametrised and training is argued to be efficient in a thermodynamic sense. When hidden units are binary variables, these models have a natural interpretation in terms of features. We show that the featureless state corresponds to a state of maximal ignorance about the features and that learning the first feature depends on non-Gaussian statistical properties of the data. We suggest that the distribution of hidden variables should be chosen according to the principle of maximal relevance. We introduce the Hierarchical Feature Model as an example of a model that satisfies this principle, and that encodes an a priori organisation of the feature space. We present extensive numerical experiments in order i) to test that the internal representation of learning machines can indeed be independent of the data with which they are trained and ii) that only a finite number of features are needed to describe a datasets.
• Abstract（参考訳）: 隠れ層の分布が固定された教師なし学習のための確率論的ニューラルネットワークモデルについて議論する。 このアーキテクチャで学習する機械には,多くの望ましい特性がある,と我々は主張する。 例えば、モデルは単純で解釈可能なものとして選択することができ、過剰なパラメータを持つ必要はなく、熱力学的な意味での効率的なトレーニングが主張されている。 隠れ単位がバイナリ変数である場合、これらのモデルは特徴の観点から自然な解釈を持つ。 特徴のない状態は特徴に関する最大無知の状態に対応し、最初の特徴の学習はデータの非ガウス統計特性に依存することを示した。 隠れた変数の分布は、最大関連性の原理に従って選択すべきである。 我々は,この原則を満たし,特徴空間の事前構造を符号化するモデルの一例として,階層的特徴モデルを紹介する。 大規模数値実験を順に提示する。 一 学習機械の内部表現が、実際に訓練されたデータから独立して行うことができることをテストすること。 ii)データセットを記述するのに必要な機能は有限個しかないこと。

関連論文リスト

• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Discovering interpretable elastoplasticity models via the neural polynomial method enabled symbolic regressions [0.0]
  従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。 本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T22:22:32Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)
• It's FLAN time! Summing feature-wise latent representations for interpretability [0.0]
  FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。 FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。 これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
  論文  参考訳（メタデータ） (2021-06-18T12:19:33Z)
• Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
  本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。 我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
  論文  参考訳（メタデータ） (2020-11-17T12:39:44Z)
• Human-interpretable model explainability on high-dimensional data [8.574682463936007]
  2つのモジュールからなる高次元データに対する人間解釈可能な説明可能性のためのフレームワークを提案する。 まず、データの生の次元性を減らし、人間の解釈可能性を確保するために、意味的に意味のある潜在表現を適用する。 第2に、モデルに依存しないこれらの潜在的特徴を扱うために、Shapleyパラダイムを適用し、理論的に制御され、計算的に抽出可能なモデル説明をもたらす。
  論文  参考訳（メタデータ） (2020-10-14T20:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。