論文の概要: Navigating High Dimensional Concept Space with Metalearning

• arxiv url: http://arxiv.org/abs/2508.01948v2
• Date: Tue, 09 Sep 2025 13:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:26.900714
• Title: Navigating High Dimensional Concept Space with Metalearning
• Title（参考訳）: メタラーニングによる高次元概念空間のナビゲーション
• Authors: Max Gupta,
• Abstract要約: 本研究では、勾配に基づくメタラーニングが、離散概念の効率的な数ショット取得のために、誘導バイアスを持つニューラルネットワークを装備できるかどうかを検討する。 メタSGDにおける適応ステップの数を増やすことにより,複雑な概念に対する分布外一般化の改善が期待できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapidly learning abstract concepts from limited examples is a hallmark of human intelligence. This work investigates whether gradient-based meta-learning can equip neural networks with inductive biases for efficient few-shot acquisition of discrete concepts. I compare meta-learning methods against a supervised learning baseline on Boolean concepts (logical statements) generated by a probabilistic context-free grammar (PCFG). By systematically varying concept dimensionality (number of features) and recursive compositionality (depth of grammar recursion), I delineate between complexity regimes in which meta-learning robustly improves few-shot concept learning and regimes in which it does not. Meta-learners are much better able to handle compositional complexity than featural complexity. I highlight some reasons for this with a representational analysis of the weights of meta-learners and a loss landscape analysis demonstrating how featural complexity increases the roughness of loss trajectories, allowing curvature-aware optimization to be more effective than first-order methods. I find improvements in out-of-distribution generalization on complex concepts by increasing the number of adaptation steps in meta-SGD, where adaptation acts as a way of encouraging exploration of rougher loss basins. Overall, this work highlights the intricacies of learning compositional versus featural complexity in high dimensional concept spaces and provides a road to understanding the role of 2nd order methods and extended gradient adaptation in few-shot concept learning.
• Abstract（参考訳）: 限られた例から抽象概念を素早く学習することは、人間の知能の目印である。 本研究では、勾配に基づくメタラーニングが、離散概念の効率的な数ショット取得のために、誘導バイアスを持つニューラルネットワークを装備できるかどうかを検討する。 確率論的文脈自由文法(PCFG)によって生成されるブール概念(論理文)に基づく教師付き学習ベースラインと比較した。 体系的に概念の次元性(特徴数)と再帰的な構成性(文法の再帰の深さ)を変化させることで、メタラーニングが少数の概念学習を強力に改善する複雑性レジームと、そうでないレジームを区別する。 メタ学習者は、卓越した複雑さよりも構成上の複雑さを扱うことができる。 メタラーナーの重みの表現的解析と損失景観解析により,損失軌跡の粗さが,曲率を考慮した最適化が一階法よりも効果的であることを示す。 メタSGDの適応段数を増やすことで, 複雑な概念に対する分布外一般化の改善が期待できる。 本研究は,高次元概念空間における構成的複雑性と工芸的複雑性の学習の複雑さを強調し,第2次手法の役割と,少数ショット概念学習における拡張勾配適応の理解への道筋を提供する。

関連論文リスト

• Human-like compositional learning of visually-grounded concepts using synthetic environments [6.461018127662044]
  本研究では,人間が試行錯誤によって概念クラスや接地的視覚的手がかりを構成することを学ぶ方法について検討する。 我々は,エージェントが自然言語の指示によって指定されたターゲットに移動するために,強化によって学習する3D合成環境を設計する。 強化学習エージェントは、決定者の概念を視覚的目標に根ざすことができるが、より複雑な前置詞概念に苦慮していることを示す。
  論文  参考訳（メタデータ） (2025-04-09T06:33:28Z)
• Enabling Systematic Generalization in Abstract Spatial Reasoning through Meta-Learning for Compositionality [20.958479821810762]
  構成性のためのメタラーニングのアプローチを抽象空間推論の領域に拡張する。 この結果から,メタラーニングにより学習したトランスフォーマーを用いたエンコーダ・デコーダモデルにより,既往の変換合成を体系的に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-02T07:56:39Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Sketch-Plan-Generalize: Learning and Planning with Neuro-Symbolic Programmatic Representations for Inductive Spatial Concepts [6.708785987015999]
  限られた数のデモからパーソナライズされた概念を学習するためのアプローチを開発する。 私たちのパイプラインは、一般化とモジュラー再使用を促進し、継続的な概念学習を可能にします。
  論文  参考訳（メタデータ） (2024-04-11T14:09:41Z)
• Concept Discovery for Fast Adapatation [42.81705659613234]
  データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。 提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-19T02:33:58Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Provable Representation Learning for Imitation Learning via Bi-level Optimization [60.059520774789654]
  現代の学習システムにおける一般的な戦略は、多くのタスクに有用な表現を学ぶことである。 我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境において,この戦略を研究する。 このフレームワークは,行動のクローン化と観察-アローンの模倣学習設定のためにインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-24T21:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。