論文の概要: Information Theoretic Meta Learning with Gaussian Processes

• arxiv url: http://arxiv.org/abs/2009.03228v3
• Date: Mon, 5 Jul 2021 12:26:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 02:02:51.966812
• Title: Information Theoretic Meta Learning with Gaussian Processes
• Title（参考訳）: ガウス過程を用いた情報理論メタ学習
• Authors: Michalis K. Titsias and Francisco J. R. Ruiz and Sotirios Nikoloutsopoulos and Alexandre Galashov
• Abstract要約: 情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
• 参考スコア（独自算出の注目度）: 74.54485310507336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We formulate meta learning using information theoretic concepts; namely, mutual information and the information bottleneck. The idea is to learn a stochastic representation or encoding of the task description, given by a training set, that is highly informative about predicting the validation set. By making use of variational approximations to the mutual information, we derive a general and tractable framework for meta learning. This framework unifies existing gradient-based algorithms and also allows us to derive new algorithms. In particular, we develop a memory-based algorithm that uses Gaussian processes to obtain non-parametric encoding representations. We demonstrate our method on a few-shot regression problem and on four few-shot classification problems, obtaining competitive accuracy when compared to existing baselines.
• Abstract（参考訳）: 情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 この考え方は、検証セットの予測に非常に有益であるトレーニングセットによって与えられるタスク記述の確率的表現やエンコーディングを学ぶことである。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。 このフレームワークは、既存の勾配に基づくアルゴリズムを統一し、新しいアルゴリズムを導出することを可能にする。 特に,ガウス過程を用いて非パラメトリック符号化表現を得るメモリベースアルゴリズムを開発した。 提案手法は, 数ショット回帰問題と4つの数ショット分類問題に対して, 既存のベースラインと比較した場合の競合精度を得る。

関連論文リスト

• Improved Graph-based semi-supervised learning Schemes [0.0]
  本研究では,ラベルの少ない大規模データセットの分類に対処するため,いくつかの既知のアルゴリズムの精度を向上させる。 私たちのフレームワークは、グラフベースの半教師あり学習の領域にあります。
  論文  参考訳（メタデータ） (2024-06-30T16:50:08Z)
• Semantic Information for Object Detection [0.0]
  本稿では,インスタンスレベルのアノテーションを付加した画像のデータセットから知識グラフを抽出する新しい手法を提案する。 本稿では,Faster-RCNNおよびDETRオブジェクト検出モデルにおける知識認識再最適化の有効性について検討する。
  論文  参考訳（メタデータ） (2023-08-17T13:53:29Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
  本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。 一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。 本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
  論文  参考訳（メタデータ） (2022-12-08T18:30:22Z)
• Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval [51.823187647843945]
  本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。 この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:29:03Z)
• Feature space approximation for kernel-based supervised learning [2.653409741248232]
  目標は、トレーニングデータのサイズを減らし、ストレージ消費と計算の複雑さを減らすことだ。 完全トレーニングデータセットを含むデータ駆動予測の計算と比較して,大幅な改善が示された。 本手法は, 画像認識, システム識別, 海洋時系列解析などの異なる応用領域の分類と回帰問題に適用する。
  論文  参考訳（メタデータ） (2020-11-25T11:23:58Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。