論文の概要: Navigating High Dimensional Concept Space with Metalearning

• arxiv url: http://arxiv.org/abs/2508.01948v1
• Date: Mon, 28 Jul 2025 18:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.127113
• Title: Navigating High Dimensional Concept Space with Metalearning
• Title（参考訳）: メタラーニングによる高次元概念空間のナビゲーション
• Authors: Max Gupta,
• Abstract要約: 本研究では、勾配に基づくメタラーニングが、離散概念の効率的な数ショット取得のために、誘導バイアスを持つニューラルネットワークを装備できるかどうかを検討する。 メタラーナーは、人工的な複雑さよりも構成上の複雑さを処理できることが示されています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapidly learning abstract concepts from limited examples is a hallmark of human intelligence. This work investigates whether gradient-based meta-learning can equip neural networks with inductive biases for efficient few-shot acquisition of discrete concepts. We compare meta-learning methods against a supervised learning baseline on Boolean tasks generated by a probabilistic context-free grammar (PCFG). By systematically varying concept dimensionality (number of features) and compositionality (depth of grammar recursion), we identify regimes in which meta-learning robustly improves few-shot concept learning. We find improved performance and sample efficiency by training a multilayer perceptron (MLP) across concept spaces increasing in dimensional and compositional complexity. We are able to show that meta-learners are much better able to handle compositional complexity than featural complexity and establish an empirical analysis demonstrating how featural complexity shapes 'concept basins' of the loss landscape, allowing curvature-aware optimization to be more effective than first order methods. We see that we can robustly increase generalization on complex concepts by increasing the number of adaptation steps in meta-SGD, encouraging exploration of rougher loss basins. Overall, this work highlights the intricacies of learning compositional versus featural complexity in high dimensional concept spaces and provides a road to understanding the role of 2nd order methods and extended gradient adaptation in few-shot concept learning.
• Abstract（参考訳）: 限られた例から抽象概念を素早く学習することは、人間の知能の目印である。 本研究では、勾配に基づくメタラーニングが、離散概念の効率的な数ショット取得のために、誘導バイアスを持つニューラルネットワークを装備できるかどうかを検討する。 確率論的文脈自由文法(PCFG)によって生成されるブールタスクの教師付き学習ベースラインとメタラーニング手法を比較した。 体系的に概念の次元性(特徴数)と構成性(文法再帰の深さ)を変化させることで、メタラーニングが少数の概念学習を強力に改善する体制を特定する。 我々は,多層パーセプトロン(MLP)を,次元および構成の複雑さが増大する概念空間にわたって訓練することにより,性能と試料効率の向上を見出した。 メタラーナーは, 合成複雑性よりも構成複雑性をうまく扱えることを示し, 損失景観の「概念盆地」をどのように形成し, 曲率を考慮した最適化が一階法よりも効果的であるかを実証する経験的分析を確立できる。 我々は,メタSGDにおける適応ステップの数を増やし,より粗い損失盆地の探索を奨励することにより,複雑な概念の一般化を強力に進めることができることを見出した。 本研究は,高次元概念空間における構成的複雑性と工芸的複雑性の学習の複雑さを強調し,第2次手法の役割と,少数ショット概念学習における拡張勾配適応の理解への道筋を提供する。

関連論文リスト

• High-Order Deep Meta-Learning with Category-Theoretic Interpretation [0.0]
  ニューラルネットワーク(NN)がタスクの階層をまたいだ構築、解決、一般化を可能にする新しい階層型ディープラーニングフレームワークを導入する。 このアプローチの中心は、Emphvirtualタスクを生成する生成メカニズムである。 これにより、フレームワークは独自の情報的タスクグラウンドデータセットを生成することができる。 我々は、このアーキテクチャが、自律的に新しい命令型タスクを生成できる次世代NNの基盤になるかもしれないと推測する。
  論文  参考訳（メタデータ） (2025-07-03T14:01:14Z)
• Human-like compositional learning of visually-grounded concepts using synthetic environments [6.461018127662044]
  本研究では,人間が試行錯誤によって概念クラスや接地的視覚的手がかりを構成することを学ぶ方法について検討する。 我々は,エージェントが自然言語の指示によって指定されたターゲットに移動するために,強化によって学習する3D合成環境を設計する。 強化学習エージェントは、決定者の概念を視覚的目標に根ざすことができるが、より複雑な前置詞概念に苦慮していることを示す。
  論文  参考訳（メタデータ） (2025-04-09T06:33:28Z)
• Enabling Systematic Generalization in Abstract Spatial Reasoning through Meta-Learning for Compositionality [20.958479821810762]
  構成性のためのメタラーニングのアプローチを抽象空間推論の領域に拡張する。 この結果から,メタラーニングにより学習したトランスフォーマーを用いたエンコーダ・デコーダモデルにより,既往の変換合成を体系的に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-02T07:56:39Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Sketch-Plan-Generalize: Learning and Planning with Neuro-Symbolic Programmatic Representations for Inductive Spatial Concepts [6.708785987015999]
  限られた数のデモからパーソナライズされた概念を学習するためのアプローチを開発する。 私たちのパイプラインは、一般化とモジュラー再使用を促進し、継続的な概念学習を可能にします。
  論文  参考訳（メタデータ） (2024-04-11T14:09:41Z)
• Everybody Needs a Little HELP: Explaining Graphs via Hierarchical Concepts [12.365451175795338]
  グラフニューラルネットワーク(GNN)は、薬物発見、ソーシャルネットワーク分析、旅行時間推定などの領域でブレークスルーをもたらしている。 人間の信頼を妨げる解釈性が欠如しているため、高い判断を下すような設定にデプロイされる。 HELPは、異なるGNN層の概念が後続のステップで新しい概念にどのように構成されるかを明らかにする、本質的に解釈可能な新しいグラフプーリング手法である。
  論文  参考訳（メタデータ） (2023-11-25T20:06:46Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Concept Discovery for Fast Adapatation [42.81705659613234]
  データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。 提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-19T02:33:58Z)
• A contrastive rule for meta-learning [1.3124513975412255]
  メタ学習アルゴリズムは、一連のタスクに存在する正規性を活用して、補助学習プロセスのパフォーマンスを高速化し改善する。 平衡伝播に基づく勾配に基づくメタラーニングアルゴリズムを提案する。 我々は、その性能に関する理論的境界を確立し、標準ベンチマークとニューラルネットワークアーキテクチャのセットで実験を行う。
  論文  参考訳（メタデータ） (2021-04-04T19:45:41Z)
• Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
  メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。 メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。 このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T18:36:33Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Provable Representation Learning for Imitation Learning via Bi-level Optimization [60.059520774789654]
  現代の学習システムにおける一般的な戦略は、多くのタスクに有用な表現を学ぶことである。 我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境において,この戦略を研究する。 このフレームワークは,行動のクローン化と観察-アローンの模倣学習設定のためにインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-24T21:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。