論文の概要: Minimum Description Length of a Spectrum Variational Autoencoder: A Theory

• arxiv url: http://arxiv.org/abs/2504.00395v1
• Date: Tue, 01 Apr 2025 03:37:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 15:43:08.92279
• Title: Minimum Description Length of a Spectrum Variational Autoencoder: A Theory
• Title（参考訳）: スペクトル変分オートエンコーダの最小記述長:理論
• Authors: Canlin Zhang, Xiuwen Liu,
• Abstract要約: 深層学習には最小記述長(MDL)が不可欠である。 MDLに基づく深部変分オートエンコーダ(VAE)の設計と評価のための新しい理論フレームワークを提案する。 我々は、スペクトルVAEが、MDLが達成されたとき、最も適切な方法でデータ分布を理解すると主張している。
• 参考スコア（独自算出の注目度）: 1.3735277588793995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) trained through end-to-end learning have achieved remarkable success across diverse machine learning tasks, yet they are not explicitly designed to adhere to the Minimum Description Length (MDL) principle, which posits that the best model provides the shortest description of the data. In this paper, we argue that MDL is essential to deep learning and propose a further generalized principle: Understanding is the use of a small amount of information to represent a large amount of information. To this end, we introduce a novel theoretical framework for designing and evaluating deep Variational Autoencoders (VAEs) based on MDL. In our theory, we designed the Spectrum VAE, a specific VAE architecture whose MDL can be rigorously evaluated under given conditions. Additionally, we introduce the concept of latent dimension combination, or pattern of spectrum, and provide the first theoretical analysis of their role in achieving MDL. We claim that a Spectrum VAE understands the data distribution in the most appropriate way when the MDL is achieved. This work is entirely theoretical and lays the foundation for future research on designing deep learning systems that explicitly adhere to information-theoretic principles.
• Abstract（参考訳）: エンドツーエンドの学習を通じてトレーニングされたディープニューラルネットワーク(DNN)は、さまざまな機械学習タスクで顕著な成功を収めている。 本稿では,MDLが深層学習に不可欠なこと,さらに一般化された原則を提案する。 そこで本研究では,MDLに基づく深部変分オートエンコーダ(VAE)の設計と評価のための新しい理論フレームワークを提案する。 本理論では、所定の条件下でMDLを厳格に評価できる特定のVAEアーキテクチャであるSpectrum VAEを設計した。 さらに, 潜在次元結合, スペクトルパターンの概念を導入し, MDLの実現におけるその役割を理論的に解析する。 我々は、スペクトルVAEが、MDLが達成されたとき、最も適切な方法でデータ分布を理解すると主張している。 この研究は完全に理論的であり、情報理論の原則に明示的に準拠するディープラーニングシステムの設計に関する将来の研究の基礎を築いた。

関連論文リスト

• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [86.21199607040147]
  自己改善認知(Self-Improving cognition、SIcog)は、次世代基礎言語モデルを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解手法であるChain-of-Descriptionを導入し、構造化連鎖推論(CoT)を統合し、深いマルチモーダル推論をサポートする。 広範囲にわたる実験により、SIcogはマルチモーダル認知を著しく改善した次世代基盤MLLMを生産することが示された。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Learning Mask Invariant Mutual Information for Masked Image Modeling [35.63719638508299]
  Maskedencodes (MAEs) はコンピュータビジョンにおける卓越した自己教師型学習パラダイムである。 近年の研究では、コントラスト学習と特徴表現分析を通じて、MAEの機能の解明が試みられている。 本稿では,情報理論における情報ボトルネックの原理を活用することで,MAEを理解するための新たな視点を提案する。
  論文  参考訳（メタデータ） (2025-02-27T03:19:05Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Probability Distribution Learning and Its Application in Deep Learning [0.0]
  本稿では,確率分布学習(PD Learning)と呼ばれる理論学習フレームワークを紹介する。 PD学習は確率分布の学習に重点を置いており、確率の単純さの中で確率変数としてモデル化される。
  論文  参考訳（メタデータ） (2024-06-09T06:49:22Z)
• Understanding Encoder-Decoder Structures in Machine Learning Using Information Measures [10.066310107046084]
  機械学習(ML)におけるエンコーダデコーダ設計の役割をモデル化し理解するための新しい結果を提案する。 我々は、機械学習における予測構造を表現するために、情報満足度(IS)と相互情報損失(MIL)という2つの主要な情報概念を用いる。
  論文  参考訳（メタデータ） (2024-05-30T19:58:01Z)
• Towards Optimal Learning of Language Models [124.65669486710992]
  言語モデル(LM)の最適学習の理論を提案する。 我々は、最適学習過程における力学の性質を明らかにするために、学習法則という定理を導出した。 我々は、LMの最適学習が、LMのスケーリング法則における係数の改善に起因することを実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-27T18:52:19Z)
• Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning [48.79569442193824]
  我々は,COMRLアルゴリズムが,タスク変数$M$と,その潜在表現$Z$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。 実演として、$I(Z; M)$の教師付きおよび自己教師型実装を提案し、対応する最適化アルゴリズムがRLベンチマークの幅広いスペクトルにわたって顕著な一般化を示すことを実証的に示す。 本研究は,COMRL法の情報理論基盤を構築し,強化学習の文脈におけるタスク表現学習の理解を深める。
  論文  参考訳（メタデータ） (2024-02-04T09:58:42Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Latent Variable Models in the Era of Industrial Big Data: Extension and Beyond [7.361977372607915]
  潜在変数モデル(LVM)とその対応するものが大きなシェアを占め、多くの産業モデリング分野で重要な役割を担います。 軽量深層LVM(LDLVM)という新しい概念を提案する。
  論文  参考訳（メタデータ） (2022-08-23T09:58:37Z)
• Envisioning Future Deep Learning Theories: Some Basic Concepts and Characteristics [30.365274034429508]
  将来的な深層学習理論は,3つの特徴を継承すべきである,と我々は主張する。 階層構造型ネットワークアーキテクチャ, 勾配法を用いてテキストに最適化されたパラメータ, テキスト圧縮的に進化するデータからの情報。 我々はこれらの特徴をTextitneurashedと呼ばれるグラフィカルモデルに統合し、ディープラーニングにおける一般的な経験的パターンを効果的に説明する。
  論文  参考訳（メタデータ） (2021-12-17T19:51:26Z)
• Error Bounds for a Matrix-Vector Product Approximation with Deep ReLU Neural Networks [0.0]
  深層学習の理論は、深層学習指向の深さと発達の広さの理論を刺激した。 深部修正線形単位(ReLU)フィードフォワードニューラルネットワーク(FNN)を用いて任意の行列ベクトル積を正確に近似できるのか? 我々は、発達した深部近似理論を構成するルベーグノルムとソボレフノルムの誤差境界を導出する。 先進的な理論は、新たな教師学生AIやMLパラダイムの観点から、教師の深いReLU FNNの指導と緩和にも適用できる。
  論文  参考訳（メタデータ） (2021-11-25T08:14:55Z)
• An Empirical Investigation into Deep and Shallow Rule Learning [0.0]
  本稿では,深層ルール学習と浅層ルール学習を一様一般アルゴリズムで実証的に比較する。 人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。
  論文  参考訳（メタデータ） (2021-06-18T17:43:17Z)
• Understanding Interpretability by generalized distillation in Supervised Classification [3.5473853445215897]
  最近の解釈戦略は、複雑な機械学習モデルの根底にある決定メカニズムの人間の理解に焦点を当てている。 本稿では,他のMLモデルと相対的に定義される解釈・蒸留式を提案する。 MNIST、Fashion-MNIST、Stanford40データセットに関する提案フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2020-12-05T17:42:50Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• The Minimum Description Length Principle for Pattern Mining: A Survey [0.07614628596146598]
  パターンマイニングに適用される最小記述長の原理について述べる。 情報理論とコーディングから関連する概念を概説した後、様々な種類のデータやパターンをマイニングするためのMDLベースの手法を概説する。
  論文  参考訳（メタデータ） (2020-07-28T06:24:39Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• On the Information Plane of Autoencoders [0.0]
  Information Plane (IP) はディープラーニングネットワークに隠された層を解析するために提案された。 本研究では,自動エンコーダのIPに関する理論的収束を導出する。 自動エンコーダの理論的IPは、ニューラルネットワークのMIを推定する新しい手法を検証するベンチマークとして使用できる。
  論文  参考訳（メタデータ） (2020-05-15T21:05:49Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。