論文の概要: A Self-Supervised Framework for Function Learning and Extrapolation

• arxiv url: http://arxiv.org/abs/2106.07369v1
• Date: Mon, 14 Jun 2021 12:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 23:00:00.907131
• Title: A Self-Supervised Framework for Function Learning and Extrapolation
• Title（参考訳）: 関数学習と外挿のための自己監督型フレームワーク
• Authors: Simon N. Segert, Jonathan D. Cohen
• Abstract要約: 本稿では,学習者が一般化を支援する表現を取得するためのフレームワークを提案する。 得られた表現は、教師なし時系列学習において、他のモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 1.9374999427973014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how agents learn to generalize -- and, in particular, to extrapolate -- in high-dimensional, naturalistic environments remains a challenge for both machine learning and the study of biological agents. One approach to this has been the use of function learning paradigms, which allow peoples' empirical patterns of generalization for smooth scalar functions to be described precisely. However, to date, such work has not succeeded in identifying mechanisms that acquire the kinds of general purpose representations over which function learning can operate to exhibit the patterns of generalization observed in human empirical studies. Here, we present a framework for how a learner may acquire such representations, that then support generalization -- and extrapolation in particular -- in a few-shot fashion. Taking inspiration from a classic theory of visual processing, we construct a self-supervised encoder that implements the basic inductive bias of invariance under topological distortions. We show the resulting representations outperform those from other models for unsupervised time series learning in several downstream function learning tasks, including extrapolation.
• Abstract（参考訳）: エージェントがどのようにして高次元で自然主義的な環境で一般化し、特に外挿することを学ぶかを理解することは、機械学習と生物学的エージェントの研究の両方にとって課題である。 これに対する1つのアプローチは、滑らかなスカラー関数の一般化に関する人々の経験的パターンを正確に記述できる関数学習パラダイムの使用である。 しかし、このような研究は、人間の経験的研究で観察された一般化のパターンを示すために、関数学習が動作可能な汎用表現の種類を取得するメカニズムの特定に成功していない。 本稿では,学習者がそのような表現をどのように獲得するかを示すフレームワークを提案する。 視覚処理の古典的理論から着想を得て,位相歪み下での不変性の基本帰納バイアスを実装する自己教師付きエンコーダを構築する。 その結果,外挿を含むいくつかの下流関数学習タスクにおいて,教師なし時系列学習のために,他のモデルの表現よりも優れることを示す。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Generalizable Imitation Learning Through Pre-Trained Representations [19.98418419179064]
  我々は、リッチなDINO事前学習型Visual Transformer (ViT) パッチレベルの埋め込みを活用して、実演を通して学習する際の一般化を向上する模倣学習アルゴリズムであるBC-ViTを紹介する。 我々の学習者は、外見の特徴をセマンティックな概念にまとめ、幅広い外見のバリエーションやオブジェクトタイプにまたがる安定なキーポイントを形成することで世界を見る。
  論文  参考訳（メタデータ） (2023-11-15T20:15:51Z)
• Homomorphic Self-Supervised Learning [1.0742675209112622]
  私たちは、同型自己監督学習と呼ばれる一般的なフレームワークを紹介します。 本稿では,拡張同型特徴抽出器を用いた入力拡張の利用を仮定する方法について述べる。
  論文  参考訳（メタデータ） (2022-11-15T16:32:36Z)
• Inferring Versatile Behavior from Demonstrations by Matching Geometric Descriptors [72.62423312645953]
  人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。 現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。 代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
  論文  参考訳（メタデータ） (2022-10-17T16:42:59Z)
• Abstract Interpretation for Generalized Heuristic Search in Model-Based Planning [50.96320003643406]
  ドメイン・ジェネラル・モデル・ベース・プランナーは、しばしば記号的世界モデルの緩和を通じて探索を構築することによって一般性を導出する。 抽象解釈がこれらの抽象化の統一フレームワークとして機能し、よりリッチな世界モデルに探索の範囲を広げる方法について説明する。 また、これらは学習と統合することができ、エージェントは抽象的な情報を通じて、新しい世界のモデルで計画を開始することができる。
  論文  参考訳（メタデータ） (2022-08-05T00:22:11Z)
• Homomorphism Autoencoder -- Learning Group Structured Representations from Observed Transitions [51.71245032890532]
  本研究では,世界に作用するエージェントが,それを修飾する動作と整合した感覚情報の内部表現を学習できるようにする手法を提案する。 既存の作業とは対照的に、我々のアプローチはグループの事前の知識を必要とせず、エージェントが実行可能なアクションのセットを制限しない。
  論文  参考訳（メタデータ） (2022-07-25T11:22:48Z)
• Interpreting and improving deep-learning models with reality checks [13.287382944078562]
  この章では、1つの予測のために特徴と特徴グループに重要さをもたらすことによってモデルを解釈することを目的とした最近の研究について取り上げる。 これらの属性は、ニューラルネットワークの一般化を直接的に改善したり、あるいは単純なモデルに蒸留するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-08-16T00:58:15Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Functional Regularization for Representation Learning: A Unified Theoretical Perspective [27.93916012334704]
  教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。 本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。 本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
  論文  参考訳（メタデータ） (2020-08-06T04:06:04Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。