論文の概要: Quantifying Relevance in Learning and Inference
- arxiv url: http://arxiv.org/abs/2202.00339v1
- Date: Tue, 1 Feb 2022 11:16:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-02 19:53:44.733756
- Title: Quantifying Relevance in Learning and Inference
- Title（参考訳）: 学習と推論における関連性の定量化
- Authors: Matteo Marsili and Yasser Roudi
- Abstract要約: 関連性」概念に基づく理解学習の最近の進歩を概観する。
これらはサンプルと機械の理想的な限界であり、未知の生成過程に関する情報の最大量を含んでいる。
最大情報的サンプルは、異常に大きな感受性によって、パワー・ローの周波数分布(統計的臨界)と最適学習機によって特徴づけられる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning is a distinctive feature of intelligent behaviour. High-throughput
experimental data and Big Data promise to open new windows on complex systems
such as cells, the brain or our societies. Yet, the puzzling success of
Artificial Intelligence and Machine Learning shows that we still have a poor
conceptual understanding of learning. These applications push statistical
inference into uncharted territories where data is high-dimensional and scarce,
and prior information on "true" models is scant if not totally absent. Here we
review recent progress on understanding learning, based on the notion of
"relevance". The relevance, as we define it here, quantifies the amount of
information that a dataset or the internal representation of a learning machine
contains on the generative model of the data. This allows us to define
maximally informative samples, on one hand, and optimal learning machines on
the other. These are ideal limits of samples and of machines, that contain the
maximal amount of information about the unknown generative process, at a given
resolution (or level of compression). Both ideal limits exhibit critical
features in the statistical sense: Maximally informative samples are
characterised by a power-law frequency distribution (statistical criticality)
and optimal learning machines by an anomalously large susceptibility. The
trade-off between resolution (i.e. compression) and relevance distinguishes the
regime of noisy representations from that of lossy compression. These are
separated by a special point characterised by Zipf's law statistics. This
identifies samples obeying Zipf's law as the most compressed loss-less
representations that are optimal in the sense of maximal relevance. Criticality
in optimal learning machines manifests in an exponential degeneracy of energy
levels, that leads to unusual thermodynamic properties.
- Abstract（参考訳）: 学習は知的行動の独特な特徴である。
高スループットの実験データとビッグデータは、細胞や脳、社会といった複雑なシステムに新しい窓を開くことを約束します。
しかし、人工知能と機械学習の成功は、まだ学習に関する概念的な理解が不十分であることを示している。
これらの応用は、データが高次元で不足している非チャート領域に統計的推論をプッシュし、「真の」モデルに関する事前情報は、完全に欠落していない場合はスキャンされる。
本稿では,「関連性」の概念に基づく学習の理解の最近の進歩を概観する。
関連性は、ここで定義するとおり、データセットや学習機械の内部表現がデータの生成モデルに含んでいる情報の量を定量化する。
これにより、最大情報化サンプルを一方に、最適学習マシンを他方に定義することができる。
これらはサンプルと機械の理想的な限界であり、与えられた解像度(または圧縮レベル)において、未知の生成過程に関する情報の最大量を含む。
最大情報的サンプルは、正則周波数分布(統計的臨界度)と最適学習機械によって、異常に大きな感受性によって特徴づけられる。
分解能(すなわち圧縮)と関連性の間のトレードオフは、ノイズ表現の規則と損失圧縮の規則を区別する。
これらはZipfの法則統計によって特徴づけられる特別な点によって分離される。
これはZipfの法則に従うサンプルを、最大関連性という意味で最適である最も圧縮された損失のない表現として特定する。
最適学習機械の臨界度はエネルギー準位の指数的な縮退に現れ、異常な熱力学特性をもたらす。
関連論文リスト
- Learning Regularities from Data using Spiking Functions: A Theory [1.3735277588793995]
我々は,正則性の定義を数学で定義する新しい機械学習理論を提案する。
発見された非ランダム性は、関数が十分単純であれば正則性に符号化される。
この過程において、最適なスパイク関数である「ベスト」正則性は、最も多くの情報を取得することができるものであると主張する。
論文 参考訳（メタデータ） (2024-05-19T22:04:11Z) - TexShape: Information Theoretic Sentence Embedding for Language Models [5.265661844206274]
本稿では,情報理論のレンズを用いて,文を最適化された表現に符号化する際の課題について論じる。
我々は、Kulback-Leibler分散のDonsker-Varadhan定義を用いて、相互情報の実証的な推定を行う。
本実験は, 最大目標情報と最小機密情報を, 負圧縮比で保持する上で, 顕著な進歩を示すものである。
論文 参考訳（メタデータ） (2024-02-05T22:48:28Z) - On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。
ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。
我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
論文 参考訳（メタデータ） (2023-02-21T14:22:01Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
既存のクロスエントロピー損失最小化問題は,基礎となるデータ分布のラベル条件エントロピーを本質的に学習することを示す。
ラベルと入力の相互情報を学習することで、ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-21T01:06:30Z) - Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。
本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
論文 参考訳（メタデータ） (2022-09-05T16:48:34Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - An Extension to Basis-Hypervectors for Learning from Circular Data in
Hyperdimensional Computing [62.997667081978825]
超次元計算(Hyperdimensional Computing、HDC)は、高次元ランダム空間の性質に基づく計算フレームワークである。
本稿では, 基本超ベクトル集合について検討し, 一般にHDCへの実践的貢献につながっている。
本稿では,HDCを用いた機械学習において,これまでに扱ったことのない重要な情報である円形データから学習する手法を提案する。
論文 参考訳（メタデータ） (2022-05-16T18:04:55Z) - Compressed Predictive Information Coding [6.220929746808418]
我々は,動的データから有用な表現を抽出する新しい情報理論フレームワーク,Compressed Predictive Information Coding (CPIC) を開発した。
我々はCPIC損失の変動境界を導出し、最大予測可能な情報を取得するために潜時空間を誘導する。
我々はCPICが低信号対雑音比で雑音力学系の潜時空間を復元できることを実証した。
論文 参考訳（メタデータ） (2022-03-03T22:47:58Z) - When is Memorization of Irrelevant Training Data Necessary for
High-Accuracy Learning? [53.523017945443115]
我々は,十分な精度のトレーニングアルゴリズムが,予測モデルにおいて,そのトレーニング例の大規模サブセットに関する情報を本質的にすべてエンコードしなければならない自然予測問題を記述する。
私たちの結果は、トレーニングアルゴリズムや学習に使用されるモデルのクラスに依存しません。
論文 参考訳（メタデータ） (2020-12-11T15:25:14Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳（メタデータ） (2020-02-25T06:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。