論文の概要: TURBO: The Swiss Knife of Auto-Encoders

• arxiv url: http://arxiv.org/abs/2311.06527v1
• Date: Sat, 11 Nov 2023 10:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 18:07:21.862690
• Title: TURBO: The Swiss Knife of Auto-Encoders
• Title（参考訳）: TURBO: 自動エンコーダーのスイスナイフ
• Authors: Guillaume Qu\'etant, Yury Belousov, Vitaliy Kinakh, Slava Voloshynovskiy
• Abstract要約: TURBOは、自動エンコード手法を体系的に解析し、一般化するように設計されている。 本稿は、そのようなモデルをすべて解明する上で、情報ボトルネックの概念が不十分であることを示す。 TURBOの導入は、データ表現とニューラルネットワークモデルの構造のより深い理解に寄与する。
• 参考スコア（独自算出の注目度）: 4.913488665159803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel information-theoretic framework, termed as TURBO, designed to systematically analyse and generalise auto-encoding methods. We start by examining the principles of information bottleneck and bottleneck-based networks in the auto-encoding setting and identifying their inherent limitations, which become more prominent for data with multiple relevant, physics-related representations. The TURBO framework is then introduced, providing a comprehensive derivation of its core concept consisting of the maximisation of mutual information between various data representations expressed in two directions reflecting the information flows. We illustrate that numerous prevalent neural network models are encompassed within this framework. The paper underscores the insufficiency of the information bottleneck concept in elucidating all such models, thereby establishing TURBO as a preferable theoretical reference. The introduction of TURBO contributes to a richer understanding of data representation and the structure of neural network models, enabling more efficient and versatile applications.
• Abstract（参考訳）: 本稿では,自動符号化手法の体系的解析と一般化を目的とした新しい情報理論フレームワークTURBOを提案する。 まず、情報ボトルネックとボトルネックベースのネットワークの原理を自動エンコーディング設定で検証し、それらの固有の制限を識別することから始める。 次に、TURBOフレームワークを導入し、情報フローを反映した2方向の様々なデータ表現間の相互情報の最大化からなる、その中核概念を包括的に導出する。 このフレームワークには、多くの一般的なニューラルネットワークモデルが含まれている。 本論文は,これらのモデルをすべて解明する上で,情報ボトルネックの概念が不十分であることを示す。 TURBOの導入は、データ表現とニューラルネットワークモデルの構造のより深い理解に寄与し、より効率的で汎用的なアプリケーションを可能にする。

関連論文リスト

• Enhancing Neural Network Interpretability Through Conductance-Based Information Plane Analysis [0.0]
  インフォメーションプレーン(Information Plane)は、ニューラルネットワーク内の情報の流れを分析するための概念的フレームワークである。 本稿では,入力特徴に対する感度尺度であるレイヤコンダクタンスを用いて情報平面解析を強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T23:10:42Z)
• Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning [16.8379583872582]
  我々は,情報ボトルネックの概念を利用する情報理論階層知覚(ITHP)モデルを開発した。 我々は、ITHPがマルチモーダル学習シナリオにおいて重要な情報を一貫して蒸留し、最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T01:34:44Z)
• Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
  既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。 内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:57Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)
• Structural Deep Clustering Network [45.370272344031285]
  本研究では,構造情報を深層クラスタリングに統合する構造深層クラスタリングネットワーク(SDCN)を提案する。 具体的には、オートエンコーダが学習した表現を対応するGCN層に転送するデリバリ演算子を設計する。 このように、低次から高次までの複数のデータ構造は、オートエンコーダによって学習された複数の表現と自然に結合される。
  論文  参考訳（メタデータ） (2020-02-05T04:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。