論文の概要: Reviewing Evolution of Learning Functions and Semantic Information
Measures for Understanding Deep Learning
- arxiv url: http://arxiv.org/abs/2305.14397v1
- Date: Tue, 23 May 2023 06:32:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 00:25:56.029610
- Title: Reviewing Evolution of Learning Functions and Semantic Information
Measures for Understanding Deep Learning
- Title（参考訳）: 深層学習理解のための学習機能の進化と意味情報対策の見直し
- Authors: Chenguang Lu
- Abstract要約: 本稿ではまず,意味情報測度と学習機能の進化史を概観する。
著者のセマンティック情報G理論をR(G)関数で簡単に紹介する(GはSeMIを表す)。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A new trend in deep learning, represented by Mutual Information Neural
Estimation (MINE) and Information Noise Contrast Estimation (InfoNCE), is
emerging. In this trend, similarity functions and Estimated Mutual Information
(EMI) are used as learning and objective functions. Coincidentally, EMI is
essentially the same as Semantic Mutual Information (SeMI) proposed by the
author 30 years ago. This paper first reviews the evolutionary histories of
semantic information measures and learning functions. Then, it briefly
introduces the author's semantic information G theory with the rate-fidelity
function R(G) (G denotes SeMI, and R(G) extends R(D)) and its applications to
multi-label learning, the maximum Mutual Information (MI) classification, and
mixture models. Then it discusses how we should understand the relationship
between SeMI and Shan-non's MI, two generalized entropies (fuzzy entropy and
coverage entropy), Autoencoders, Gibbs distributions, and partition functions
from the perspective of the R(G) function or the G theory. An important
conclusion is that mixture models and Restricted Boltzmann Machines converge
because SeMI is maximized, and Shannon's MI is minimized, making information
efficiency G/R close to 1. A potential opportunity is to simplify deep learning
by using Gaussian channel mixture models for pre-training deep neural networks'
latent layers without considering gradients. It also discusses how the SeMI
measure is used as the reward function (reflecting purposiveness) for
reinforcement learning. The G theory helps interpret deep learning but is far
from enough. Combining semantic information theory and deep learning will
accelerate their development.
- Abstract（参考訳）: 相互情報ニューラル推定(mine)と情報ノイズコントラスト推定(infonce)によって表されるディープラーニングの新しいトレンドが登場している。
この傾向では、類似性関数と推定相互情報(EMI)が学習や目的関数として使用される。
EMIは、30年前に著者が提案したSemantic Mutual Information(SeMI)と基本的に同じである。
本稿ではまず,意味情報測定と学習機能の進化史を概観する。
次に、著者のセマンティック情報G理論と、レートフィデリティ関数R(G)(GはSeMIを表し、R(G)はR(D)を拡張する)と、マルチラベル学習、最大相互情報(MI)分類、混合モデルについて簡単に紹介する。
次に、セミとシャンノンのMIの関係、二つの一般化エントロピー(ファジィエントロピーとカバレッジエントロピー)、オートエンコーダ、ギブス分布、分割函数をR(G)関数やG理論の観点からどのように理解すべきかについて議論する。
重要な結論は、混合モデルと制限ボルツマンマシンが収束するのは、SeMIが最大化され、シャノンのMIが最小化され、情報効率 G/R が 1 に近づくからである。
潜在的な機会は、勾配を考慮せずに深層ニューラルネットワークの潜伏層を事前訓練するためにガウス流混合モデルを使用することで、ディープラーニングを単純化することである。
また,SeMI尺度が強化学習の報酬関数 (reflecting purposiveness) としてどのように使用されるかについても論じる。
G理論は深層学習を解釈するのに役立つが、十分ではない。
意味情報理論とディープラーニングを組み合わせることで、開発が加速する。
関連論文リスト
- Semantic Information G Theory for Range Control with Tradeoff between Purposiveness and Efficiency [0.7252027234425334]
本稿では,意味情報G測度とR(G)関数のパラメトリック解を紹介する。
R(G)関数はIMM法の理論的基礎として機能するが、深層学習、強化学習、制約制御と組み合わせてさらなる研究が必要である。
論文 参考訳（メタデータ） (2024-10-19T08:43:49Z) - G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。
特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。
その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文 参考訳（メタデータ） (2024-05-09T08:28:12Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Cramer Type Distances for Learning Gaussian Mixture Models by Gradient
Descent [0.0]
今日まで、ガウス混合モデルに適合または学習できる既知のアルゴリズムはほとんどない。
一般多変量GMM学習のためのスライスクラマー2距離関数を提案する。
これらの機能は、分散強化学習とディープQネットワークに特に有用である。
論文 参考訳（メタデータ） (2023-07-13T13:43:02Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - Language Knowledge-Assisted Representation Learning for Skeleton-Based
Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。
LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T08:29:16Z) - A robust estimator of mutual information for deep learning
interpretability [2.574652392763709]
本稿では,離散的かつ連続的な設定にも適用可能なアルゴリズムGMM-MIを提案する。
我々は,GMM-MIを具体的真理MIが知られている玩具データに基づいて広範囲に検証する。
次に、表現学習の文脈におけるMI推定器の使用例を示す。
論文 参考訳（メタデータ） (2022-10-31T18:00:02Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳（メタデータ） (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。