論文の概要: Learning Universal Predictors

• arxiv url: http://arxiv.org/abs/2401.14953v1
• Date: Fri, 26 Jan 2024 15:37:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 14:38:48.750769
• Title: Learning Universal Predictors
• Title（参考訳）: ユニバーサル予測の学習
• Authors: Jordi Grau-Moya, Tim Genewein, Marcus Hutter, Laurent Orseau, Gr\'egoire Del\'etang, Elliot Catt, Anian Ruoss, Li Kevin Wenliang, Christopher Mattern, Matthew Aitchison, Joel Veness
• Abstract要約: メタラーニングを限界まで活用することで、最も強力な普遍的予測子であるソロモノフ誘導(SI)をニューラルネットワークに記憶させる可能性を探る。 我々はUniversal Turing Machines (UTM) を用いて、幅広いパターンにネットワークを公開するトレーニングデータを生成する。 この結果から,UTMデータはメタラーニングに有用な資源であり,普遍的な予測戦略を学習可能なニューラルネットワークのトレーニングに有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 23.18743879588599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning has emerged as a powerful approach to train neural networks to learn new tasks quickly from limited data. Broad exposure to different tasks leads to versatile representations enabling general problem solving. But, what are the limits of meta-learning? In this work, we explore the potential of amortizing the most powerful universal predictor, namely Solomonoff Induction (SI), into neural networks via leveraging meta-learning to its limits. We use Universal Turing Machines (UTMs) to generate training data used to expose networks to a broad range of patterns. We provide theoretical analysis of the UTM data generation processes and meta-training protocols. We conduct comprehensive experiments with neural architectures (e.g. LSTMs, Transformers) and algorithmic data generators of varying complexity and universality. Our results suggest that UTM data is a valuable resource for meta-learning, and that it can be used to train neural networks capable of learning universal prediction strategies.
• Abstract（参考訳）: メタラーニングは、限られたデータから新しいタスクを素早く学習するためにニューラルネットワークをトレーニングする強力なアプローチとして登場した。 様々なタスクを広範囲に露呈すると、汎用的な表現が一般的な問題解決を可能にします。 しかし、メタ学習の限界は何か? 本研究では,メタラーニングを限界まで活用することで,最強の普遍的予測子であるソロモノフ誘導(SI)をニューラルネットワークに再生する可能性を探る。 我々はUniversal Turing Machines (UTMs) を用いて、幅広いパターンにネットワークを公開するためのトレーニングデータを生成する。 UTMデータ生成プロセスとメタトレーニングプロトコルの理論解析を行う。 ニューラルネットワーク(LSTM、トランスフォーマーなど)とアルゴリズムデータジェネレータによる、さまざまな複雑さと普遍性の包括的な実験を行う。 以上の結果から,utmデータはメタラーニングに有用な資源であり,普遍的な予測戦略を学習できるニューラルネットワークのトレーニングに使用できることが示唆された。

関連論文リスト

• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• PMFL: Partial Meta-Federated Learning for heterogeneous tasks and its applications on real-world medical records [11.252157002705484]
  フェデレートされた機械学習は、異なるソースからの分散データを利用する汎用的で柔軟なツールである。 本稿では,この問題を解決するために,フェデレートラーニングとメタラーニングを統合した新しいアルゴリズムを提案する。 我々は,異種医療データセットの処理において,アルゴリズムが最速のトレーニング速度を得ることができ,最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-12-10T03:55:03Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Generalising via Meta-Examples for Continual Learning in the Wild [24.09600678738403]
  我々は「野生で学習する」ニューラルネットワークを扱うための新しい戦略を開発する MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に緩和する新しいモジュール。 様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。
  論文  参考訳（メタデータ） (2021-01-28T15:51:54Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding [97.85957811603251]
  MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。 PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。 MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
  論文  参考訳（メタデータ） (2020-02-19T03:05:28Z)
• Federated Learning with Matched Averaging [43.509797844077426]
  フェデレートされた学習により、エッジデバイスは、トレーニングデータをデバイスに保持しながら、共有モデルを共同で学習することができる。 本稿では,現代のニューラルネットワークアーキテクチャのフェデレーション学習を目的としたフェデレーションマッチング平均化(FedMA)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-15T20:09:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。