論文の概要: Learning Regularities from Data using Spiking Functions: A Theory
- arxiv url: http://arxiv.org/abs/2405.11684v1
- Date: Sun, 19 May 2024 22:04:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 14:43:16.092258
- Title: Learning Regularities from Data using Spiking Functions: A Theory
- Title（参考訳）: スパイキング関数を用いたデータから正規性を学ぶ:理論
- Authors: Canlin Zhang, Xiuwen Liu,
- Abstract要約: 我々は,正則性の定義を数学で定義する新しい機械学習理論を提案する。
規則性は非ランダムな特徴の簡潔な表現であり、データ確率分布における「非ランダム性」である。
我々は、最適なスパイク関数である「ベスト」正規性は、データ分布から最大の情報を取得することができるものであると主張している。
- 参考スコア（独自算出の注目度）: 1.3735277588793995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks trained in an end-to-end manner are proven to be efficient in a wide range of machine learning tasks. However, there is one drawback of end-to-end learning: The learned features and information are implicitly represented in neural network parameters, which cannot be used as regularities, concepts or knowledge to explicitly represent the data probability distribution. To resolve this issue, we propose in this paper a new machine learning theory, which defines in mathematics what are regularities. Briefly, regularities are concise representations of the non-random features, or 'non-randomness' in the data probability distribution. Combining with information theory, we claim that regularities can also be regarded as a small amount of information encoding a large amount of information. Our theory is based on spiking functions. That is, if a function can react to, or spike on specific data samples more frequently than random noise inputs, we say that such a function discovers non-randomness from the data distribution, and encodes the non-randomness into regularities. Our theory also discusses applying multiple spiking functions to the same data distribution. In this process, we claim that the 'best' regularities, or the optimal spiking functions, are those who can capture the largest amount of information from the data distribution, and then encode the captured information in the most concise way. Theorems and hypotheses are provided to describe in mathematics what are 'best' regularities and optimal spiking functions. Finally, we propose a machine learning approach, which can potentially obtain the optimal spiking functions regarding the given dataset in practice.
- Abstract（参考訳）: エンドツーエンドでトレーニングされたディープニューラルネットワークは、幅広い機械学習タスクにおいて効率的であることが証明されている。
学習された特徴と情報はニューラルネットワークパラメータで暗黙的に表現されるため、データの確率分布を明示的に表現するための規則性、概念、知識として使用することはできない。
この問題を解決するために,本論文では,正則性が何であるかを数学で定義する新しい機械学習理論を提案する。
簡単に言えば、正規性は非ランダムな特徴の簡潔な表現であり、データ確率分布における「非ランダム性」である。
情報理論と組み合わさって、正規性は大量の情報を符号化する少数の情報ともみなすことができる。
私たちの理論はスパイク関数に基づいている。
すなわち、関数がランダムなノイズ入力よりも頻繁に特定のデータサンプルに反応またはスパイクできる場合、そのような関数はデータ分布から非ランダム性を発見し、非ランダム性を正規性にエンコードする。
また、同じデータ分布に複数のスパイキング関数を適用することについても論じる。
このプロセスでは、最適なスパイク関数である「ベスト」規則は、データ分布から最も多くの情報をキャプチャし、取得した情報を最も簡潔にエンコードできるものであると主張する。
定理と仮説は数学において「最良の」正則性と最適なスパイク関数を記述するために提供される。
最後に、与えられたデータセットに関する最適スパイク関数を実際に取得できる機械学習手法を提案する。
関連論文リスト
- A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。
入力の統計的性質から一般化特性を導出する。
データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
論文 参考訳（メタデータ） (2023-07-31T14:11:32Z) - Utility-Probability Duality of Neural Networks [4.871730595406078]
本稿では,ディープラーニングにおける標準教師あり学習手順に対するユーティリティに基づく代替的説明を提案する。
基本的な考え方は、学習したニューラルネットワークを確率モデルではなく、順序付きユーティリティ関数として解釈することである。
ソフトマックス出力を持つ全てのニューラルネットワークに対して、最大推定値のSGD学習ダイナミクスを反復過程と見なすことができる。
論文 参考訳（メタデータ） (2023-05-24T08:09:07Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors [1.8130068086063333]
ストラグラーや他の障害は、全体の完了時間に深刻な影響を与える可能性がある。
符号化コンピューティングにおける最近の研究は、コード化されたタスクでストラグラーを緩和するための新しい戦略を提供する。
この厳密な定義は、失敗の確率を直接最適化しないことを示す。
論文 参考訳（メタデータ） (2022-02-07T19:20:00Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2022-01-30T16:43:40Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Function Approximation via Sparse Random Features [23.325877475827337]
本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。
分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-04T17:53:54Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳（メタデータ） (2020-12-05T22:58:37Z) - Kernel based analysis of massive data [0.45687771576879593]
そこで我々は,ネットワークによる近似理論を開発し,局所的に階層化された近似を実現する。
データの巨大な性質により、逆問題を解決するためにこれらのイグネットを使用することができます。
我々は、近似にデータベースのトレーニングを必要としないように、プレハブネットワークを構築している。
論文 参考訳（メタデータ） (2020-03-30T05:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。