論文の概要: Minimum Description Length of a Spectrum Variational Autoencoder: A Theory

• arxiv url: http://arxiv.org/abs/2504.00395v1
• Date: Tue, 01 Apr 2025 03:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:18:02.377624
• Title: Minimum Description Length of a Spectrum Variational Autoencoder: A Theory
• Title（参考訳）: スペクトル変分オートエンコーダの最小記述長:理論
• Authors: Canlin Zhang, Xiuwen Liu,
• Abstract要約: 深層学習には最小記述長(MDL)が不可欠である。 MDLに基づく深部変分オートエンコーダ(VAE)の設計と評価のための新しい理論フレームワークを提案する。 我々は、スペクトルVAEが、MDLが達成されたとき、最も適切な方法でデータ分布を理解すると主張している。
• 参考スコア（独自算出の注目度）: 1.3735277588793995
• License:
• Abstract: Deep neural networks (DNNs) trained through end-to-end learning have achieved remarkable success across diverse machine learning tasks, yet they are not explicitly designed to adhere to the Minimum Description Length (MDL) principle, which posits that the best model provides the shortest description of the data. In this paper, we argue that MDL is essential to deep learning and propose a further generalized principle: Understanding is the use of a small amount of information to represent a large amount of information. To this end, we introduce a novel theoretical framework for designing and evaluating deep Variational Autoencoders (VAEs) based on MDL. In our theory, we designed the Spectrum VAE, a specific VAE architecture whose MDL can be rigorously evaluated under given conditions. Additionally, we introduce the concept of latent dimension combination, or pattern of spectrum, and provide the first theoretical analysis of their role in achieving MDL. We claim that a Spectrum VAE understands the data distribution in the most appropriate way when the MDL is achieved. This work is entirely theoretical and lays the foundation for future research on designing deep learning systems that explicitly adhere to information-theoretic principles.
• Abstract（参考訳）: エンドツーエンドの学習を通じてトレーニングされたディープニューラルネットワーク(DNN)は、さまざまな機械学習タスクで顕著な成功を収めている。 本稿では,MDLが深層学習に不可欠なこと,さらに一般化された原則を提案する。 そこで本研究では,MDLに基づく深部変分オートエンコーダ(VAE)の設計と評価のための新しい理論フレームワークを提案する。 本理論では、所定の条件下でMDLを厳格に評価できる特定のVAEアーキテクチャであるSpectrum VAEを設計した。 さらに, 潜在次元結合, スペクトルパターンの概念を導入し, MDLの実現におけるその役割を理論的に解析する。 我々は、スペクトルVAEが、MDLが達成されたとき、最も適切な方法でデータ分布を理解すると主張している。 この研究は完全に理論的であり、情報理論の原則に明示的に準拠するディープラーニングシステムの設計に関する将来の研究の基礎を築いた。

関連論文リスト

• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Understanding Encoder-Decoder Structures in Machine Learning Using Information Measures [10.066310107046084]
  機械学習(ML)におけるエンコーダデコーダ設計の役割をモデル化し理解するための新しい結果を提案する。 我々は、機械学習における予測構造を表現するために、情報満足度(IS)と相互情報損失(MIL)という2つの主要な情報概念を用いる。
  論文  参考訳（メタデータ） (2024-05-30T19:58:01Z)
• Towards Optimal Learning of Language Models [124.65669486710992]
  言語モデル(LM)の最適学習の理論を提案する。 我々は、最適学習過程における力学の性質を明らかにするために、学習法則という定理を導出した。 我々は、LMの最適学習が、LMのスケーリング法則における係数の改善に起因することを実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-27T18:52:19Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Understanding Masked Autoencoders via Hierarchical Latent Variable Models [109.35382136147349]
  Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。 MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
  論文  参考訳（メタデータ） (2023-06-08T03:00:10Z)
• Latent Variable Models in the Era of Industrial Big Data: Extension and Beyond [7.361977372607915]
  潜在変数モデル(LVM)とその対応するものが大きなシェアを占め、多くの産業モデリング分野で重要な役割を担います。 軽量深層LVM(LDLVM)という新しい概念を提案する。
  論文  参考訳（メタデータ） (2022-08-23T09:58:37Z)
• Understanding Interpretability by generalized distillation in Supervised Classification [3.5473853445215897]
  最近の解釈戦略は、複雑な機械学習モデルの根底にある決定メカニズムの人間の理解に焦点を当てている。 本稿では,他のMLモデルと相対的に定義される解釈・蒸留式を提案する。 MNIST、Fashion-MNIST、Stanford40データセットに関する提案フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2020-12-05T17:42:50Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Improving Few-Shot Learning through Multi-task Representation Learning Theory [14.8429503385929]
  本稿では,MTR(Multi-task representation)学習の枠組みについて考察する。 MTR理論の最近の進歩は、このフレームワーク内で解析すると、一般的なメタ学習アルゴリズムに新しい洞察を与えることができることを示す。 これは、直近のMSR理論の学習境界を、数発の分類のタスクのために実践する最初の貢献である。
  論文  参考訳（メタデータ） (2020-10-05T13:24:43Z)
• The Minimum Description Length Principle for Pattern Mining: A Survey [0.07614628596146598]
  パターンマイニングに適用される最小記述長の原理について述べる。 情報理論とコーディングから関連する概念を概説した後、様々な種類のデータやパターンをマイニングするためのMDLベースの手法を概説する。
  論文  参考訳（メタデータ） (2020-07-28T06:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。