論文の概要: Understanding Encoder-Decoder Structures in Machine Learning Using Information Measures
- arxiv url: http://arxiv.org/abs/2405.20452v1
- Date: Thu, 30 May 2024 19:58:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 18:14:59.034999
- Title: Understanding Encoder-Decoder Structures in Machine Learning Using Information Measures
- Title（参考訳）: 情報量を用いた機械学習におけるエンコーダ・デコーダ構造理解
- Authors: Jorge F. Silva, Victor Faraggi, Camilo Ramirez, Alvaro Egana, Eduardo Pavez,
- Abstract要約: 機械学習(ML)におけるエンコーダデコーダ設計の役割をモデル化し理解するための新しい結果を提案する。
我々は、機械学習における予測構造を表現するために、情報満足度(IS)と相互情報損失(MIL)という2つの主要な情報概念を用いる。
- 参考スコア（独自算出の注目度）: 10.066310107046084
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present new results to model and understand the role of encoder-decoder design in machine learning (ML) from an information-theoretic angle. We use two main information concepts, information sufficiency (IS) and mutual information loss (MIL), to represent predictive structures in machine learning. Our first main result provides a functional expression that characterizes the class of probabilistic models consistent with an IS encoder-decoder latent predictive structure. This result formally justifies the encoder-decoder forward stages many modern ML architectures adopt to learn latent (compressed) representations for classification. To illustrate IS as a realistic and relevant model assumption, we revisit some known ML concepts and present some interesting new examples: invariant, robust, sparse, and digital models. Furthermore, our IS characterization allows us to tackle the fundamental question of how much performance (predictive expressiveness) could be lost, using the cross entropy risk, when a given encoder-decoder architecture is adopted in a learning setting. Here, our second main result shows that a mutual information loss quantifies the lack of expressiveness attributed to the choice of a (biased) encoder-decoder ML design. Finally, we address the problem of universal cross-entropy learning with an encoder-decoder design where necessary and sufficiency conditions are established to meet this requirement. In all these results, Shannon's information measures offer new interpretations and explanations for representation learning.
- Abstract（参考訳）: 情報理論の角度から機械学習(ML)におけるエンコーダデコーダ設計の役割をモデル化し理解するための新しい結果を提案する。
我々は、機械学習における予測構造を表現するために、情報満足度(IS)と相互情報損失(MIL)という2つの主要な情報概念を用いる。
最初の結果から,ISエンコーダ・デコーダの潜在予測構造と整合した確率モデルのクラスを特徴付ける関数式が得られた。
この結果は、エンコーダ-デコーダの前方ステージを正式に正当化し、多くのモダンMLアーキテクチャが、分類のための潜在(圧縮)表現を学ぶために採用している。
ISを現実的で関連するモデル仮定として説明するために、既知のMLの概念を再考し、不変、堅牢、スパース、デジタルモデルといった興味深い新しい例を示します。
さらに,所与のエンコーダ・デコーダアーキテクチャを学習環境に導入した場合に,クロスエントロピーリスクを用いて,性能(予測表現性)がどの程度失われるかという根本的な問題に取り組むことができる。
ここでは,2つ目の主要な結果から,(バイアス付き)エンコーダデコーダML設計の選択による表現性の欠如を定量的に示す。
最後に、この要件を満たすために必要かつ十分条件が確立されたエンコーダ・デコーダ設計を用いて、普遍的クロスエントロピー学習の課題に対処する。
これらすべての結果において、シャノンの情報測度は表現学習のための新しい解釈と説明を提供する。
関連論文リスト
- PAGE: Parametric Generative Explainer for Graph Neural Network [16.350208494261913]
PAGEは、事前の知識や内部の詳細を必要とせずに、グラフニューラルネットワークに対して忠実な説明を提供することができる。
我々は,潜在因果関係の特徴とモデル出力の因果関係を捉えるために,新たな判別器を導入する。
既存の方法と比較して、PAGEはノードやエッジではなく、サンプルスケールで動作する。
論文 参考訳（メタデータ） (2024-08-26T06:39:49Z) - Leveraging Knowlegde Graphs for Interpretable Feature Generation [0.0]
KRAFTは、知識グラフを利用して解釈可能な機能の生成をガイドするAutoFEフレームワークである。
我々のハイブリッドAIアプローチは、一連の変換を通じて生の機能を変換するためのニューラルジェネレータと、特徴の解釈可能性を評価するための知識ベースの推論器を組み合わせています。
生成装置は、生成した特徴の予測精度と解釈可能性を最大化するために、Deep Reinforcement Learning (DRL)を介して訓練される。
論文 参考訳（メタデータ） (2024-06-01T19:51:29Z) - Bidirectional Trained Tree-Structured Decoder for Handwritten
Mathematical Expression Recognition [51.66383337087724]
Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。
近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。
本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
論文 参考訳（メタデータ） (2023-12-31T09:24:21Z) - Low-Resolution Self-Attention for Semantic Segmentation [96.81482872022237]
我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。
我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。
本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
論文 参考訳（メタデータ） (2023-10-08T06:10:09Z) - Dynamic Encoding and Decoding of Information for Split Learning in
Mobile-Edge Computing: Leveraging Information Bottleneck Theory [1.1151919978983582]
Split Learning(スプリットラーニング)は、MLモデルを2つの部分(エンコーダとデコーダ)に分割する、プライバシ保護の分散学習パラダイムである。
モバイルエッジコンピューティングでは、エンコーダがユーザ機器(UE)に、デコーダがエッジネットワークに、分割学習によってネットワーク機能を訓練することができる。
本稿では,送信リソース消費の動的バランスと,共有潜在表現の情報化を両立させるためのフレームワークとトレーニング機構を提案する。
論文 参考訳（メタデータ） (2023-09-06T07:04:37Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Toward a Geometrical Understanding of Self-supervised Contrastive
Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。
メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。
本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文 参考訳（メタデータ） (2022-05-13T23:24:48Z) - Great Truths are Always Simple: A Rather Simple Knowledge Encoder for
Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
自然言語における常識推論は、人工知能システムの望ましい能力である。
複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。
有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
論文 参考訳（メタデータ） (2022-05-04T01:27:36Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - Probabilistic Autoencoder using Fisher Information [0.0]
この作業では、Autoencoderアーキテクチャの拡張であるFisherNetが導入されている。
このアーキテクチャでは、潜時空間の不確実性はエンコーダの付加情報チャネルを使用して生成されるのではなく、フィッシャー情報計量を用いてデコーダから導出される。
FisherNetは、同等のVAEよりも正確なデータ再構成を実現しており、学習性能も、潜在空間次元の数に比例して向上していることが実験的に証明できる。
論文 参考訳（メタデータ） (2021-10-28T08:33:24Z) - A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。
結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。
新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
論文 参考訳（メタデータ） (2020-06-25T13:25:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。