論文の概要: Compositional learning of functions in humans and machines

• arxiv url: http://arxiv.org/abs/2403.12201v1
• Date: Mon, 18 Mar 2024 19:22:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 18:21:58.017688
• Title: Compositional learning of functions in humans and machines
• Title（参考訳）: 人間と機械の機能の合成学習
• Authors: Yanli Zhou, Brenden M. Lake, Adina Williams,
• Abstract要約: 我々は,構成関数を用いた学習と推論において,人間とニューラルネットワークモデルの能力を探るための関数学習パラダイムを開発する。 その結果,人間は相互作用条件をまたいだ新しい視覚機能合成をゼロショットで一般化できることが示唆された。 同じタスクにおけるニューラルネットワークモデルとの比較により、合成性(MLC)アプローチのメタラーニングを通じて、標準的なシーケンス対シーケンス変換器は、構成関数における人間の一般化パターンを模倣することができることが明らかになった。
• 参考スコア（独自算出の注目度）: 23.583544271543033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to learn and compose functions is foundational to efficient learning and reasoning in humans, enabling flexible generalizations such as creating new dishes from known cooking processes. Beyond sequential chaining of functions, existing linguistics literature indicates that humans can grasp more complex compositions with interacting functions, where output production depends on context changes induced by different function orderings. Extending the investigation into the visual domain, we developed a function learning paradigm to explore the capacity of humans and neural network models in learning and reasoning with compositional functions under varied interaction conditions. Following brief training on individual functions, human participants were assessed on composing two learned functions, in ways covering four main interaction types, including instances in which the application of the first function creates or removes the context for applying the second function. Our findings indicate that humans can make zero-shot generalizations on novel visual function compositions across interaction conditions, demonstrating sensitivity to contextual changes. A comparison with a neural network model on the same task reveals that, through the meta-learning for compositionality (MLC) approach, a standard sequence-to-sequence Transformer can mimic human generalization patterns in composing functions.
• Abstract（参考訳）: 機能を学び、構成する能力は、人間の効率的な学習と推論の基礎となり、既知の調理プロセスから新しい料理を作るといった柔軟な一般化を可能にします。 関数の逐次連鎖以外にも、既存の言語学文献では、人間が相互作用する関数によってより複雑な構成を把握できることが示されている。 視覚領域の調査を拡大し、様々な相互作用条件下での合成機能を用いた学習・推論において、人間とニューラルネットワークモデルの能力を探究する機能学習パラダイムを開発した。 個々の機能に関する短いトレーニングの後、人間の参加者は、2つの学習された機能を構成する上で評価され、第1の関数の応用が第2の関数を適用するコンテキストを作成したり削除したりするインスタンスを含む4つの主要な相互作用タイプをカバーする方法が検討された。 以上の結果から,人間は相互作用条件にまたがる新しい視覚機能合成をゼロショットで一般化することができ,文脈変化に対する感受性を示すことが示唆された。 同じタスクにおけるニューラルネットワークモデルとの比較により、合成性(MLC)アプローチのメタラーニングを通じて、標準的なシーケンス対シーケンス変換器は、構成関数における人間の一般化パターンを模倣することができることが明らかになった。

関連論文リスト

• A Pattern Language for Machine Learning Tasks [0.0]
  我々は客観的関数を学習者の行動に関する制約と見なしている。 動作の中核となるタスクと実装の詳細を分離できる形式的なグラフィカル言語を開発する。 概念実証として、「マニピュレータ」と呼ぶ生成モデルに分類器を変換できる新しいタスクを設計する。
  論文  参考訳（メタデータ） (2024-07-02T16:50:27Z)
• Cognitive Evolutionary Learning to Select Feature Interactions for Recommender Systems [59.117526206317116]
  Cellはさまざまなタスクやデータに対して,さまざまなモデルに適応的に進化可能であることを示す。 4つの実世界のデータセットの実験では、細胞は最先端のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-05-29T02:35:23Z)
• Emergent Modularity in Pre-trained Transformers [127.08792763817496]
  モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。 事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。 このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
  論文  参考訳（メタデータ） (2023-05-28T11:02:32Z)
• Unification of popular artificial neural network activation functions [0.0]
  本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。 分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T21:20:59Z)
• What Can Transformers Learn In-Context? A Case Study of Simple Function Classes [67.06980111346245]
  インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。 我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。 また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
  論文  参考訳（メタデータ） (2022-08-01T18:01:40Z)
• Feature Extraction Functions for Neural Logic Rule Learning [4.181432858358386]
  ニューラルネットワークの予測行動に論理規則として抽象化された人間の知識を統合する機能を提案する。 他の既存のニューラルネットワークのアプローチとは異なり、これらの関数のプログラム的性質は、特別な数学的エンコーディングを一切必要としないことを意味する。
  論文  参考訳（メタデータ） (2020-08-14T12:35:07Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。