論文の概要: Lifelong Generative Modelling Using Dynamic Expansion Graph Model

• arxiv url: http://arxiv.org/abs/2112.08370v1
• Date: Wed, 15 Dec 2021 17:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 13:43:24.297093
• Title: Lifelong Generative Modelling Using Dynamic Expansion Graph Model
• Title（参考訳）: 動的拡張グラフモデルを用いた生涯生成モデル
• Authors: Fei Ye and Adrian G. Bors
• Abstract要約: 共同GR法とENA法を用いて,VAEの忘れ行動について検討した。 動的拡張グラフモデル(DEGM)を提案する。
• 参考スコア（独自算出の注目度）: 15.350366047108103
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Variational Autoencoders (VAEs) suffer from degenerated performance, when learning several successive tasks. This is caused by catastrophic forgetting. In order to address the knowledge loss, VAEs are using either Generative Replay (GR) mechanisms or Expanding Network Architectures (ENA). In this paper we study the forgetting behaviour of VAEs using a joint GR and ENA methodology, by deriving an upper bound on the negative marginal log-likelihood. This theoretical analysis provides new insights into how VAEs forget the previously learnt knowledge during lifelong learning. The analysis indicates the best performance achieved when considering model mixtures, under the ENA framework, where there are no restrictions on the number of components. However, an ENA-based approach may require an excessive number of parameters. This motivates us to propose a novel Dynamic Expansion Graph Model (DEGM). DEGM expands its architecture, according to the novelty associated with each new databases, when compared to the information already learnt by the network from previous tasks. DEGM training optimizes knowledge structuring, characterizing the joint probabilistic representations corresponding to the past and more recently learned tasks. We demonstrate that DEGM guarantees optimal performance for each task while also minimizing the required number of parameters. Supplementary materials (SM) and source code are available in https://github.com/dtuzi123/Expansion-Graph-Model.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、連続したタスクを学習する際に、劣化したパフォーマンスに悩まされる。 これは破滅的な忘れによって引き起こされる。 知識喪失に対処するために、VAEは生成的リプレイ(GR)メカニズムまたは拡張ネットワークアーキテクチャ(ENA)のいずれかを使用している。 本稿では,共同GR法とENA法を併用したVAEの忘れ行動について,負の辺縁対数線上の上限を導出することにより検討する。 この理論分析は、VAEが生涯学習中に学んだ知識を忘れる方法についての新しい洞察を与える。 この分析は、ENAフレームワークの下でモデル混合を考える際に達成される最高のパフォーマンスを示しており、コンポーネントの数に制限はない。 しかし、ENAベースのアプローチでは過剰な数のパラメータを必要とする可能性がある。 そこで我々は,新しい動的拡張グラフモデル(DEGM)を提案する。 degmは、以前のタスクからネットワークが既に学んだ情報と比較すると、新しいデータベースの新規性に応じて、そのアーキテクチャを拡張する。 DEGMトレーニングは知識構造化を最適化し、過去および最近では学習されたタスクに対応する共同確率表現を特徴付ける。 我々は,DEGMが各タスクに最適な性能を保証し,必要なパラメータ数を最小化できることを実証する。 Supplementary Materials (SM)とソースコードはhttps://github.com/dtuzi123/Expansion-Graph-Modelで入手できる。

関連論文リスト

• GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
  ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
  論文  参考訳（メタデータ） (2024-06-12T15:10:44Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
  深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。 我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。 我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
  論文  参考訳（メタデータ） (2022-05-23T20:20:27Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• Shared and Private VAEs with Generative Replay for Continual Learning [1.90365714903665]
  継続的学習は、学習済みのタスクを忘れずに新しいタスクを学習しようとする。 既存のartificial neural network (ann)モデルのほとんどは失敗するが、人間は生涯にわたって過去の作品を思い出して同じことをする。 我々は,MNIST,Permuted MNIST(QMNIST),CIFAR100,MiniImageNetデータセットなどの視覚的連続学習ベンチマークにおいて,このハイブリッドモデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-05-17T06:18:36Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Multi-view Self-Constructing Graph Convolutional Networks with Adaptive Class Weighting Loss for Semantic Segmentation [23.623276007011373]
  セマンティックセグメンテーションのためのMulti-view Self-Constructing Graph Convolutional Networks (MSCG-Net) と呼ばれる新しいアーキテクチャを提案する。 航空機画像の回転不変性を明確に活用するために,複数のビューを利用する。 提案手法の有効性と柔軟性を農業ビジョン課題に適用し,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T22:18:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。