論文の概要: Compositional learning of functions in humans and machines
- arxiv url: http://arxiv.org/abs/2403.12201v1
- Date: Mon, 18 Mar 2024 19:22:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:21:58.017688
- Title: Compositional learning of functions in humans and machines
- Title(参考訳): 人間と機械の機能の合成学習
- Authors: Yanli Zhou, Brenden M. Lake, Adina Williams,
- Abstract要約: 我々は,構成関数を用いた学習と推論において,人間とニューラルネットワークモデルの能力を探るための関数学習パラダイムを開発する。
その結果,人間は相互作用条件をまたいだ新しい視覚機能合成をゼロショットで一般化できることが示唆された。
同じタスクにおけるニューラルネットワークモデルとの比較により、合成性(MLC)アプローチのメタラーニングを通じて、標準的なシーケンス対シーケンス変換器は、構成関数における人間の一般化パターンを模倣することができることが明らかになった。
- 参考スコア(独自算出の注目度): 23.583544271543033
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to learn and compose functions is foundational to efficient learning and reasoning in humans, enabling flexible generalizations such as creating new dishes from known cooking processes. Beyond sequential chaining of functions, existing linguistics literature indicates that humans can grasp more complex compositions with interacting functions, where output production depends on context changes induced by different function orderings. Extending the investigation into the visual domain, we developed a function learning paradigm to explore the capacity of humans and neural network models in learning and reasoning with compositional functions under varied interaction conditions. Following brief training on individual functions, human participants were assessed on composing two learned functions, in ways covering four main interaction types, including instances in which the application of the first function creates or removes the context for applying the second function. Our findings indicate that humans can make zero-shot generalizations on novel visual function compositions across interaction conditions, demonstrating sensitivity to contextual changes. A comparison with a neural network model on the same task reveals that, through the meta-learning for compositionality (MLC) approach, a standard sequence-to-sequence Transformer can mimic human generalization patterns in composing functions.
- Abstract(参考訳): 機能を学び、構成する能力は、人間の効率的な学習と推論の基礎となり、既知の調理プロセスから新しい料理を作るといった柔軟な一般化を可能にします。
関数の逐次連鎖以外にも、既存の言語学文献では、人間が相互作用する関数によってより複雑な構成を把握できることが示されている。
視覚領域の調査を拡大し、様々な相互作用条件下での合成機能を用いた学習・推論において、人間とニューラルネットワークモデルの能力を探究する機能学習パラダイムを開発した。
個々の機能に関する短いトレーニングの後、人間の参加者は、2つの学習された機能を構成する上で評価され、第1の関数の応用が第2の関数を適用するコンテキストを作成したり削除したりするインスタンスを含む4つの主要な相互作用タイプをカバーする方法が検討された。
以上の結果から,人間は相互作用条件にまたがる新しい視覚機能合成をゼロショットで一般化することができ,文脈変化に対する感受性を示すことが示唆された。
同じタスクにおけるニューラルネットワークモデルとの比較により、合成性(MLC)アプローチのメタラーニングを通じて、標準的なシーケンス対シーケンス変換器は、構成関数における人間の一般化パターンを模倣することができることが明らかになった。
関連論文リスト
- Compositional Capabilities of Autoregressive Transformers: A Study on
Synthetic, Interpretable Tasks [23.516986266146855]
我々は合成データ生成プロセスで自己回帰変換器モデルを訓練する。
自己回帰変換器は少量のトレーニングデータから構成構造を学習できることを示す。
論文 参考訳(メタデータ) (2023-11-21T21:16:54Z) - Emergent Modularity in Pre-trained Transformers [127.08792763817496]
モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。
事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。
このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
論文 参考訳(メタデータ) (2023-05-28T11:02:32Z) - Unification of popular artificial neural network activation functions [0.0]
本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。
分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
論文 参考訳(メタデータ) (2023-02-21T21:20:59Z) - Composition, Attention, or Both? [8.22379888383833]
コンポジションアテンション文法(CAG)と呼ばれる新しいアーキテクチャを提案する。
構成関数と自己認識機構の両方が人間のような構文一般化を誘導できるかどうかを考察する。
論文 参考訳(メタデータ) (2022-10-24T05:30:02Z) - What Can Transformers Learn In-Context? A Case Study of Simple Function
Classes [67.06980111346245]
インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。
我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。
また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
論文 参考訳(メタデータ) (2022-08-01T18:01:40Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳(メタデータ) (2021-05-19T07:24:42Z) - Feature Extraction Functions for Neural Logic Rule Learning [4.181432858358386]
ニューラルネットワークの予測行動に論理規則として抽象化された人間の知識を統合する機能を提案する。
他の既存のニューラルネットワークのアプローチとは異なり、これらの関数のプログラム的性質は、特別な数学的エンコーディングを一切必要としないことを意味する。
論文 参考訳(メタデータ) (2020-08-14T12:35:07Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳(メタデータ) (2020-06-24T20:37:05Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳(メタデータ) (2020-06-18T15:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。