論文の概要: KRNet: Towards Efficient Knowledge Replay

• arxiv url: http://arxiv.org/abs/2205.11126v1
• Date: Mon, 23 May 2022 08:34:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 15:54:55.172009
• Title: KRNet: Towards Efficient Knowledge Replay
• Title（参考訳）: KRNet: 効率的な知識再生を目指して
• Authors: Yingying Zhang, Qiaoyong Zhong, Di Xie, Shiliang Pu
• Abstract要約: 知識再生技術は、継続的な学習や連続的なドメイン適応といった多くのタスクで広く使われている。 本稿では,任意のサンプル識別番号を直接対応するダタムにマッピングする,新規で効率的な知識記録ネットワーク(KRNet)を提案する。 我々のKRNetは、潜在コードに対するストレージコストを著しく削減し、エンコーダのサブネットワークを使わずにトレーニングできる。
• 参考スコア（独自算出の注目度）: 50.315451023983805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The knowledge replay technique has been widely used in many tasks such as continual learning and continuous domain adaptation. The key lies in how to effectively encode the knowledge extracted from previous data and replay them during current training procedure. A simple yet effective model to achieve knowledge replay is autoencoder. However, the number of stored latent codes in autoencoder increases linearly with the scale of data and the trained encoder is redundant for the replaying stage. In this paper, we propose a novel and efficient knowledge recording network (KRNet) which directly maps an arbitrary sample identity number to the corresponding datum. Compared with autoencoder, our KRNet requires significantly ($400\times$) less storage cost for the latent codes and can be trained without the encoder sub-network. Extensive experiments validate the efficiency of KRNet, and as a showcase, it is successfully applied in the task of continual learning.
• Abstract（参考訳）: 知識再生技術は連続学習や連続領域適応といった多くのタスクで広く使われている。 鍵となるのは、過去のデータから抽出された知識を効果的にエンコードし、現在のトレーニングプロセス中にそれを再生する方法だ。 知識再生を実現するためのシンプルで効果的なモデルはオートエンコーダである。 しかし、オートエンコーダに格納された潜在コードの数はデータ規模に応じて直線的に増加し、訓練されたエンコーダは再生ステージに冗長である。 本稿では,任意のサンプル識別番号を対応するダタムに直接マッピングする,新規で効率的な知識記録ネットワーク(KRNet)を提案する。 autoencoderと比較して、当社のkrnetは潜在コードに対するストレージコストを大幅に削減でき、エンコーダサブネットワークなしでトレーニングすることができます。 大規模な実験により,KRNetの有効性が検証され,連続学習の課題にうまく適用された。

関連論文リスト

• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills [31.75121546422898]
  本稿では,コード表現学習のためのTransCoderについて述べる。 我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。 本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
  論文  参考訳（メタデータ） (2023-05-23T06:59:22Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• A manifold learning perspective on representation learning: Learning decoder and representations without an encoder [0.0]
  オートエンコーダは表現学習で一般的に使用される。 多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。 デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
  論文  参考訳（メタデータ） (2021-08-31T15:08:50Z)
• Recurrent autoencoder with sequence-aware encoding [0.0]
  本稿では,1次元畳み込み層を用いたシーケンシャル・アウェア・エンコーディングによるオートエンコーダアーキテクチャを提案する。 提案手法が標準RAEよりも優れており,トレーニングプロセスは桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2020-09-15T20:51:20Z)
• Decoupling Representation Learning from Reinforcement Learning [89.82834016009461]
  Augmented Temporal Contrast (ATC) と呼ばれる教師なし学習タスクを導入する。 ATCは畳み込みエンコーダを訓練し、短い時間差で分離された観測ペアを関連付ける。 オンラインRL実験では,ATCマッチを用いたエンコーダのトレーニングや,エンド・ツー・エンドのRLよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-14T19:11:13Z)
• Hierarchical Memory Decoding for Video Captioning [43.51506421744577]
  メモリネットワーク(MemNet)は、長期情報を保存する利点がある。 MemNetはビデオキャプションにあまり使われていない。 本稿では,ビデオキャプションのための新しいメモリデコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-27T02:48:10Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。