論文の概要: Minimum Description Length of a Spectrum Variational Autoencoder: A Theory

• arxiv url: http://arxiv.org/abs/2504.00395v2
• Date: Mon, 19 May 2025 04:44:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 17:08:52.547879
• Title: Minimum Description Length of a Spectrum Variational Autoencoder: A Theory
• Title（参考訳）: スペクトル変分オートエンコーダの最小記述長:理論
• Authors: Canlin Zhang, Xiuwen Liu,
• Abstract要約: 本稿では、自己教師型で説明可能な表現を形成するための闘争と、厳密な情報圧縮能力の欠如を結びつける新しい理論を提案する。 この研究は完全に理論的であり、最小記述長の原理に従うだけで自己監督可能なAIを実現するための将来の研究を刺激することを目的としている。
• 参考スコア（独自算出の注目度）: 1.3735277588793995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks trained through end-to-end learning have achieved remarkable success across various domains in the past decade. However, the end-to-end learning strategy faces two fundamental limitations: the struggle to form explainable representations in a self-supervised manner, and the inability to compress information rigorously following the Minimum Description Length (MDL) principle. In this paper, we establish a novel theory connecting these two challenges. We design the Spectrum VAE, a novel deep learning architecture whose minimum description length (MDL) can be rigorously evaluated. Then, we introduce the concept of latent dimension combinations, or what we term spiking patterns, and demonstrate that the observed spiking patterns should be as few as possible based on the training data in order for the Spectrum VAE to achieve the MDL. Finally, our theory demonstrates that when the MDL is achieved with respect to the given data distribution, the model will naturally produce explainable latent representations of the data. That is, explainable representations of the data, or understanding the data, can be achieved in a self-supervised manner simply by making the deep neural network obey the MDL principle. In our opinion, this reveals an even more profound principle: Understanding means to represent the acquired information by as small an amount of information as possible. This work is entirely theoretical and aims at inspiring future research to realize self-supervised explainable AI simply by obeying the MDL principle.
• Abstract（参考訳）: エンドツーエンドの学習を通じてトレーニングされたディープニューラルネットワークは、過去10年間にさまざまなドメインで顕著な成功を収めてきた。 しかし、エンド・ツー・エンドの学習戦略は、自己指導型で説明可能な表現を形成することの難しさと、最小記述長(MDL)の原則に従って厳格に情報を圧縮できないことの2つの基本的な限界に直面している。 本稿では,これら2つの課題を結びつける新しい理論を確立する。 本稿では,最小記述長(MDL)を厳格に評価できる新しいディープラーニングアーキテクチャであるSpectrum VAEを設計する。 次に、潜時次元の組み合わせの概念、あるいはスパイクパターンと呼ぶものを導入し、スペクトルVAEがMDLを達成するためのトレーニングデータに基づいて観測されたスパイクパターンが極力少ないことを実証する。 最後に, MDLが与えられたデータ分布に対して達成された場合, モデルが自然に説明可能な潜在表現を生成することを示す。 すなわち、深層ニューラルネットワークをMDLの原則に従うだけで、データの説明可能な表現、あるいはデータの理解が、自己管理的な方法で達成できるのです。 我々の意見では、これはさらに深い原理を明らかにしている: 理解する手段は、取得した情報をできるだけ少量の情報で表現することである。 この研究は完全に理論的であり、MDLの原則に従うだけで自己指導型説明可能なAIを実現するために将来の研究を刺激することを目的としている。

関連論文リスト

• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [86.21199607040147]
  自己改善認知(Self-Improving cognition、SIcog)は、次世代基礎言語モデルを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解手法であるChain-of-Descriptionを導入し、構造化連鎖推論(CoT)を統合し、深いマルチモーダル推論をサポートする。 広範囲にわたる実験により、SIcogはマルチモーダル認知を著しく改善した次世代基盤MLLMを生産することが示された。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Learning Mask Invariant Mutual Information for Masked Image Modeling [35.63719638508299]
  Maskedencodes (MAEs) はコンピュータビジョンにおける卓越した自己教師型学習パラダイムである。 近年の研究では、コントラスト学習と特徴表現分析を通じて、MAEの機能の解明が試みられている。 本稿では,情報理論における情報ボトルネックの原理を活用することで,MAEを理解するための新たな視点を提案する。
  論文  参考訳（メタデータ） (2025-02-27T03:19:05Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Probability Distribution Learning and Its Application in Deep Learning [0.0]
  本稿では,確率分布学習(PD Learning)と呼ばれる理論学習フレームワークを紹介する。 PD学習は確率分布の学習に重点を置いており、確率の単純さの中で確率変数としてモデル化される。
  論文  参考訳（メタデータ） (2024-06-09T06:49:22Z)
• Understanding Encoder-Decoder Structures in Machine Learning Using Information Measures [10.066310107046084]
  機械学習(ML)におけるエンコーダデコーダ設計の役割をモデル化し理解するための新しい結果を提案する。 我々は、機械学習における予測構造を表現するために、情報満足度(IS)と相互情報損失(MIL)という2つの主要な情報概念を用いる。
  論文  参考訳（メタデータ） (2024-05-30T19:58:01Z)
• Towards Optimal Learning of Language Models [124.65669486710992]
  言語モデル(LM)の最適学習の理論を提案する。 我々は、最適学習過程における力学の性質を明らかにするために、学習法則という定理を導出した。 我々は、LMの最適学習が、LMのスケーリング法則における係数の改善に起因することを実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-27T18:52:19Z)
• Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning [48.79569442193824]
  我々は,COMRLアルゴリズムが,タスク変数$M$と,その潜在表現$Z$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。 実演として、$I(Z; M)$の教師付きおよび自己教師型実装を提案し、対応する最適化アルゴリズムがRLベンチマークの幅広いスペクトルにわたって顕著な一般化を示すことを実証的に示す。 本研究は,COMRL法の情報理論基盤を構築し,強化学習の文脈におけるタスク表現学習の理解を深める。
  論文  参考訳（メタデータ） (2024-02-04T09:58:42Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Latent Variable Models in the Era of Industrial Big Data: Extension and Beyond [7.361977372607915]
  潜在変数モデル(LVM)とその対応するものが大きなシェアを占め、多くの産業モデリング分野で重要な役割を担います。 軽量深層LVM(LDLVM)という新しい概念を提案する。
  論文  参考訳（メタデータ） (2022-08-23T09:58:37Z)
• Understanding Interpretability by generalized distillation in Supervised Classification [3.5473853445215897]
  最近の解釈戦略は、複雑な機械学習モデルの根底にある決定メカニズムの人間の理解に焦点を当てている。 本稿では,他のMLモデルと相対的に定義される解釈・蒸留式を提案する。 MNIST、Fashion-MNIST、Stanford40データセットに関する提案フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2020-12-05T17:42:50Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• The Minimum Description Length Principle for Pattern Mining: A Survey [0.07614628596146598]
  パターンマイニングに適用される最小記述長の原理について述べる。 情報理論とコーディングから関連する概念を概説した後、様々な種類のデータやパターンをマイニングするためのMDLベースの手法を概説する。
  論文  参考訳（メタデータ） (2020-07-28T06:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。