論文の概要: Dreaming is All You Need

• arxiv url: http://arxiv.org/abs/2409.01633v1
• Date: Tue, 3 Sep 2024 06:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 02:43:06.873331
• Title: Dreaming is All You Need
• Title（参考訳）: 夢は必要なものすべて
• Authors: Mingze Ni, Wei Liu,
• Abstract要約: 本研究では,探索と精度のバランスをとるために,SleepNetとDreamNetという2つの新しいディープラーニングモデルを紹介する。 SleepNetは、事前訓練されたエンコーダモデルを使用して教師あり学習と教師なし睡眠のステージをシームレスに統合する。 DreamNetは、隠れた状態を再構築するために完全なエンコーダ・デコーダフレームワークを使用しており、人間の"ドレーミング"プロセスを模倣している。
• 参考スコア（独自算出の注目度）: 6.706761900460658
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In classification tasks, achieving a harmonious balance between exploration and precision is of paramount importance. To this end, this research introduces two novel deep learning models, SleepNet and DreamNet, to strike this balance. SleepNet seamlessly integrates supervised learning with unsupervised ``sleep" stages using pre-trained encoder models. Dedicated neurons within SleepNet are embedded in these unsupervised features, forming intermittent ``sleep" blocks that facilitate exploratory learning. Building upon the foundation of SleepNet, DreamNet employs full encoder-decoder frameworks to reconstruct the hidden states, mimicking the human "dreaming" process. This reconstruction process enables further exploration and refinement of the learned representations. Moreover, the principle ideas of our SleepNet and DreamNet are generic and can be applied to both computer vision and natural language processing downstream tasks. Through extensive empirical evaluations on diverse image and text datasets, SleepNet and DreanNet have demonstrated superior performance compared to state-of-the-art models, showcasing the strengths of unsupervised exploration and supervised precision afforded by our innovative approaches.
• Abstract（参考訳）: 分類タスクでは、探索と精度の調和が最重要となる。 そこで本研究では,このバランスを打つための2つの新しいディープラーニングモデルであるSleepNetとDreamNetを紹介した。 SleepNetは、教師なしの「スリープ」段階と教師なしの「スリープ」段階をシームレスに統合する。SleepNet内の専用ニューロンは、これらの教師なし機能に埋め込まれ、探索学習を容易にする断続的な「スリープ」ブロックを形成する。 SleepNetの基盤として、DreamNetは隠れた状態を再構築するために完全なエンコーダ・デコーダフレームワークを使用している。 この再構築プロセスは、学習した表現のさらなる探索と洗練を可能にする。 さらに、私たちのSleepNetとDreamNetの原則は汎用的で、コンピュータビジョンと自然言語処理の両方の下流タスクに適用できます。 多様な画像およびテキストデータセットに対する広範な実証評価を通じて、SleepNetとDreeanNetは最先端のモデルよりも優れた性能を示し、非教師なし探索の強みと、我々の革新的なアプローチによって得られた教師付き精度を示している。

関連論文リスト

• MuDreamer: Learning Predictive World Models without Reconstruction [58.0159270859475]
  本稿では,DreamerV3アルゴリズムに基づく堅牢な強化学習エージェントであるMuDreamerについて述べる。 本手法は,Atari100kベンチマークにおいて,より高速なトレーニングの恩恵を受けながら,同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-23T22:09:01Z)
• Visualizing Neural Network Imagination [2.1749194587826026]
  ある状況では、ニューラルネットワークは、隠れたアクティベーションの環境状態を表現します。 私たちのゴールは、ネットワークが表現している環境を可視化することです。 定量的解釈可能性尺度を定義し、隠れた状態が高度に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T11:43:35Z)
• WaveSleepNet: An Interpretable Network for Expert-like Sleep Staging [4.4697567606459545]
  WaveSleepNetは、スリープステージングのための解釈可能なニューラルネットワークである。 WaveSleepNetは遅延空間表現を使用して、異なる睡眠段階に対応する特性波のプロトタイプを識別する。 WaveSleepNetの有効性は、3つの公開データセットで検証されている。
  論文  参考訳（メタデータ） (2024-04-11T03:47:58Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• ImaginaryNet: Learning Object Detectors without Real Images and Annotations [66.30908705345973]
  本稿では,事前学習された言語モデルとテキスト・ツー・イメージモデルを組み合わせた画像合成フレームワークを提案する。 合成画像とクラスラベルを使用することで、弱い教師付きオブジェクト検出を利用してImaginary-Supervised Object Detectionを実現できる。 実験により、ImaginaryNetは、実際のデータに基づいてトレーニングされた同じバックボーンの弱い監督を受けたものと比較して、ISODで約70%の性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-13T10:25:22Z)
• Continual Learning, Fast and Slow [75.53144246169346]
  補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。 EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。 我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
  論文  参考訳（メタデータ） (2022-09-06T10:48:45Z)
• Dreaming: Model-based Reinforcement Learning by Latent Imagination without Reconstruction [14.950054143767824]
  本稿では,Dreamerのデコーダフリー拡張を提案する。 我々は,ドリーマーの限界の低い証拠から,コントラスト学習という,可能性のないInfoMax目標を導出する。 新たに考案したDreamer with InfoMax and without Generative decoder (Dreaming)は,Dreamerや他のモデルレス強化学習手法と比較して,5つの困難なロボットタスクにおいて最高のスコアを得る。
  論文  参考訳（メタデータ） (2020-07-29T00:14:40Z)
• Learning to learn generative programs with Memoised Wake-Sleep [52.439550543743536]
  本研究では,ニューラルネットワークをシンボル型データ生成プログラムの前提として,推論と先行の両方に使用するニューロシンボリック生成モデルのクラスについて検討する。 そこで本研究では,Wake Sleepを拡張したMemoised Wake-Sleep(MWS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-06T23:51:03Z)
• BiO-Net: Learning Recurrent Bi-directional Connections for Encoder-Decoder Architecture [82.64881585566825]
  本稿では,新たな双方向O字型ネットワーク(BiO-Net)を提案する。 提案手法は,バニラU-Netおよび他の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2020-07-01T05:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。