論文の概要: Enabling Systematic Generalization in Abstract Spatial Reasoning through Meta-Learning for Compositionality
- arxiv url: http://arxiv.org/abs/2504.01445v1
- Date: Wed, 02 Apr 2025 07:56:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:22:24.968338
- Title: Enabling Systematic Generalization in Abstract Spatial Reasoning through Meta-Learning for Compositionality
- Title（参考訳）: 構成性のメタラーニングによる抽象空間推論における体系的一般化
- Authors: Philipp Mondorf, Shijia Zhou, Monica Riedler, Barbara Plank,
- Abstract要約: 構成性のためのメタラーニングのアプローチを抽象空間推論の領域に拡張する。
この結果から,メタラーニングにより学習したトランスフォーマーを用いたエンコーダ・デコーダモデルにより,既往の変換合成を体系的に一般化できることが示唆された。
- 参考スコア（独自算出の注目度）: 20.958479821810762
- License:
- Abstract: Systematic generalization refers to the capacity to understand and generate novel combinations from known components. Despite recent progress by large language models (LLMs) across various domains, these models often fail to extend their knowledge to novel compositional scenarios, revealing notable limitations in systematic generalization. There has been an ongoing debate about whether neural networks possess the capacity for systematic generalization, with recent studies suggesting that meta-learning approaches designed for compositionality can significantly enhance this ability. However, these insights have largely been confined to linguistic problems, leaving their applicability to other tasks an open question. In this study, we extend the approach of meta-learning for compositionality to the domain of abstract spatial reasoning. To this end, we introduce $\textit{SYGAR}$-a dataset designed to evaluate the capacity of models to systematically generalize from known geometric transformations (e.g., translation, rotation) of two-dimensional objects to novel combinations of these transformations (e.g., translation+rotation). Our results show that a transformer-based encoder-decoder model, trained via meta-learning for compositionality, can systematically generalize to previously unseen transformation compositions, significantly outperforming state-of-the-art LLMs, including o3-mini, GPT-4o, and Gemini 2.0 Flash, which fail to exhibit similar systematic behavior. Our findings highlight the effectiveness of meta-learning in promoting systematicity beyond linguistic tasks, suggesting a promising direction toward more robust and generalizable models.
- Abstract（参考訳）: 体系的な一般化は、既知のコンポーネントから新しい組み合わせを理解し、生成する能力を指す。
様々な領域にわたる大規模言語モデル(LLM)の最近の進歩にもかかわらず、これらのモデルは、しばしば新しい構成シナリオへの知識拡張に失敗し、体系的な一般化において顕著な制限を明らかにした。
ニューラルネットワークが体系的な一般化の能力を持っているかどうかという議論が続いているが、近年の研究では、構成性のために設計されたメタラーニングアプローチが、この能力を著しく向上させることができることを示唆している。
しかしながら、これらの洞察は言語問題に限られており、他のタスクにも適用可能であることは明らかな問題である。
本研究では,構成性のメタラーニングのアプローチを抽象空間推論の領域に拡張する。
この目的のために, 2次元オブジェクトの既知の幾何変換(例えば, 翻訳, 回転)から, これらの変換の新たな組み合わせ(例えば, 翻訳+回転)まで, モデルが体系的に一般化する能力を評価するために設計された$\textit{SYGAR}$-aデータセットを導入する。
以上の結果から,トランスフォーマーを用いたエンコーダ・デコーダモデルでは,メタラーニングによって構成性を訓練した上で,従来未確認であった変換合成を体系的に一般化し,o3-mini,GPT-4o,Gemini 2.0 Flashなど最先端のLLMを著しく上回る結果が得られた。
本研究は,メタラーニングが言語的課題を超えて体系性を促進することの有効性を強調し,より堅牢で一般化可能なモデルに向けた有望な方向性を示唆するものである。
関連論文リスト
- Towards Sharper Information-theoretic Generalization Bounds for Meta-Learning [31.843499167305115]
メタラーニングのための新しい一段階情報理論境界を確立する。
我々の境界は、以前のMIおよびCMIベースの境界よりもかなり有利である。
本稿では,2種類の雑音と反復的メタ学習アルゴリズムの一般化挙動に関する新しい理論的知見を提供する。
論文 参考訳（メタデータ） (2025-01-26T15:22:04Z) - Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。
CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。
本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
論文 参考訳（メタデータ） (2024-10-16T18:10:50Z) - Enhanced Transformer architecture for in-context learning of dynamical systems [0.3749861135832073]
本稿では,従来のメタモデリングフレームワークを3つの重要な革新を通じて強化する。
これらの修正の有効性は、Wiener-Hammerstein系クラスに焦点をあてた数値的な例を通して示される。
論文 参考訳（メタデータ） (2024-10-04T10:05:15Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - Coding for Intelligence from the Perspective of Category [66.14012258680992]
符号化の対象はデータの圧縮と再構成、インテリジェンスである。
最近の傾向は、これらの2つの分野の潜在的均一性を示している。
本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
論文 参考訳（メタデータ） (2024-07-01T07:05:44Z) - Advancing Graph Representation Learning with Large Language Models: A
Comprehensive Survey of Techniques [37.60727548905253]
グラフ表現学習(GRL)とLLM(Large Language Models)の統合は、複雑なデータ構造を分析する上で重要な進化である。
このコラボレーションは、LLMの洗練された言語機能を活用して、グラフモデルの文脈的理解と適応性を改善する。
LLMをグラフ領域に統合する研究団体が増えているにもかかわらず、コアコンポーネントとオペレーションを深く分析する包括的なレビューは特に欠落している。
論文 参考訳（メタデータ） (2024-02-04T05:51:14Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。
その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。
この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
論文 参考訳（メタデータ） (2020-05-31T18:02:26Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。