論文の概要: Structural Information Learning Machinery: Learning from Observing,
Associating, Optimizing, Decoding, and Abstracting
- arxiv url: http://arxiv.org/abs/2001.09637v1
- Date: Mon, 27 Jan 2020 09:14:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 07:49:18.734025
- Title: Structural Information Learning Machinery: Learning from Observing,
Associating, Optimizing, Decoding, and Abstracting
- Title(参考訳): 構造情報学習機械:観察、連想、最適化、デコード、抽象化からの学習
- Authors: Angsheng Li
- Abstract要約: 構造情報学習装置(SiLeM)のモデルを提案する。
SiLeMマシンは自然の法則や規則を学ぶ。
- 参考スコア(独自算出の注目度): 0.913755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the present paper, we propose the model of {\it structural information
learning machines} (SiLeM for short), leading to a mathematical definition of
learning by merging the theories of computation and information. Our model
shows that the essence of learning is {\it to gain information}, that to gain
information is {\it to eliminate uncertainty} embedded in a data space, and
that to eliminate uncertainty of a data space can be reduced to an optimization
problem, that is, an {\it information optimization problem}, which can be
realized by a general {\it encoding tree method}. The principle and criterion
of the structural information learning machines are maximization of {\it
decoding information} from the data points observed together with the
relationships among the data points, and semantical {\it interpretation} of
syntactical {\it essential structure}, respectively. A SiLeM machine learns the
laws or rules of nature. It observes the data points of real world, builds the
{\it connections} among the observed data and constructs a {\it data space},
for which the principle is to choose the way of connections of data points so
that the {\it decoding information} of the data space is maximized, finds the
{\it encoding tree} of the data space that minimizes the dynamical uncertainty
of the data space, in which the encoding tree is hence referred to as a {\it
decoder}, due to the fact that it has already eliminated the maximum amount of
uncertainty embedded in the data space, interprets the {\it semantics} of the
decoder, an encoding tree, to form a {\it knowledge tree}, extracts the {\it
remarkable common features} for both semantical and syntactical features of the
modules decoded by a decoder to construct {\it trees of abstractions},
providing the foundations for {\it intuitive reasoning} in the learning when
new data are observed.
- Abstract(参考訳): 本稿では,計算理論と情報理論を融合して学習を数学的に定義する「it構造情報学習機械」(略してsilem)のモデルを提案する。
我々のモデルは、学習の本質は情報を得ることであり、情報を得ることは、データ空間に埋め込まれた不確実性を排除することであり、データ空間の不確実性を取り除くことは、最適化問題、すなわち、一般的な木構造法で実現可能な情報最適化問題に還元できることを示している。
構造情報学習マシンの原理と基準は、データポイント間の関係とともに観測されたデータポイントから {\it decoding information} を最大化すること、および構文的 {\it essential structure} の意味論的 {\it interpretation} である。
SiLeMマシンは自然の法則や規則を学ぶ。
It observes the data points of real world, builds the {\it connections} among the observed data and constructs a {\it data space}, for which the principle is to choose the way of connections of data points so that the {\it decoding information} of the data space is maximized, finds the {\it encoding tree} of the data space that minimizes the dynamical uncertainty of the data space, in which the encoding tree is hence referred to as a {\it decoder}, due to the fact that it has already eliminated the maximum amount of uncertainty embedded in the data space, interprets the {\it semantics} of the decoder, an encoding tree, to form a {\it knowledge tree}, extracts the {\it remarkable common features} for both semantical and syntactical features of the modules decoded by a decoder to construct {\it trees of abstractions}, providing the foundations for {\it intuitive reasoning} in the learning when new data are observed.
関連論文リスト
- Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳(メタデータ) (2023-11-17T00:35:38Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳(メタデータ) (2023-08-26T08:48:51Z) - Principled and Efficient Motif Finding for Structure Learning of Lifted
Graphical Models [5.317624228510748]
構造学習は、ニューロシンボリックAIと統計リレーショナル学習の分野の中心となるAIの中核的な問題である。
昇降型グラフィカルモデルにおける構造モチーフのマイニングのための第一原理的アプローチを提案する。
我々は,最先端構造学習の手法を,精度で最大6%,実行時の最大80%で上回ることを示す。
論文 参考訳(メタデータ) (2023-02-09T12:21:55Z) - Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
トポロジカル空間の観点から意味コミュニケーションを研究する。
送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。
受信機は構造を復号し、行方不明または歪んだデータを推測する。
論文 参考訳(メタデータ) (2022-10-30T22:33:44Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳(メタデータ) (2022-03-29T21:00:39Z) - Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
本稿では,構成構文構造をグラフベースで組み込む手法を提案する。
また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。
on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
論文 参考訳(メタデータ) (2022-02-22T07:40:42Z) - Representation Learning for Sequence Data with Deep Autoencoding
Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。
我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。
提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文 参考訳(メタデータ) (2020-10-07T03:34:01Z) - Sketching Datasets for Large-Scale Learning (long version) [24.478376776509045]
圧縮学習(Compressive Learning)は、データセットを学習前に大量に圧縮する大規模機械学習のアプローチである。
スケッチはまず、慎重に選択された非線形ランダムな特徴を計算し、データセット全体にわたって平均化する。
パラメータは、元のデータセットにアクセスすることなく、スケッチから学習される。
論文 参考訳(メタデータ) (2020-08-04T21:29:05Z) - Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
本稿では,効率よく適応的なコード駆動グラフを提案する。
自動エンコーダのコンテキストでデコードすることで更新される。
ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
論文 参考訳(メタデータ) (2020-02-27T05:58:12Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳(メタデータ) (2020-02-25T06:09:30Z) - A Framework for End-to-End Learning on Semantic Tree-Structured Data [4.241801379755808]
構造化データの一般的な形態は、私たちが「セマンティックツリー構造」と呼ぶものである。
汎用意味木構造データに基づくエンドツーエンド学習のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-13T18:49:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。