論文の概要: Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings

• arxiv url: http://arxiv.org/abs/2310.18777v1
• Date: Sat, 28 Oct 2023 18:30:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:46:02.025031
• Title: Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings
• Title（参考訳）: 反復学習と単純な埋め込みによる構成一般化の改善
• Authors: Yi Ren, Samuel Lavoie, Mikhail Galkin, Danica J. Sutherland, Aaron Courville
• Abstract要約: 構成の一般化は人間には容易だが、ディープニューラルネットワークには難しい。 簡単な埋め込みモデルで繰り返し学習を行うことにより、この能力を向上させることを提案する。 このような変化の組み合わせは、他のアプローチよりも構成の一般化を改善することが示される。
• 参考スコア（独自算出の注目度）: 19.667133565610087
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Compositional generalization, the ability of an agent to generalize to unseen combinations of latent factors, is easy for humans but hard for deep neural networks. A line of research in cognitive science has hypothesized a process, ``iterated learning,'' to help explain how human language developed this ability; the theory rests on simultaneous pressures towards compressibility (when an ignorant agent learns from an informed one) and expressivity (when it uses the representation for downstream tasks). Inspired by this process, we propose to improve the compositional generalization of deep networks by using iterated learning on models with simplicial embeddings, which can approximately discretize representations. This approach is further motivated by an analysis of compositionality based on Kolmogorov complexity. We show that this combination of changes improves compositional generalization over other approaches, demonstrating these improvements both on vision tasks with well-understood latent factors and on real molecular graph prediction tasks where the latent structure is unknown.
• Abstract（参考訳）: 合成一般化は、潜在因子の組み合わせを認識できないように一般化するエージェントの能力であり、人間にとって容易であるが、ディープニューラルネットワークでは難しい。 認知科学における一連の研究は、人間の言語がこの能力をどのように発達させたかを説明するのに役立つ'iterated learning'というプロセスを仮定しており、この理論は圧縮性(無知のエージェントがインフォームドなエージェントから学ぶとき)と表現性(ダウンストリームタスクの表現を使用するとき)への同時的な圧力にかかっている。 このプロセスに触発されて,単純な埋め込みモデルを用いた反復学習を用いて,表現をほぼ離散化することにより,深層ネットワークの構成一般化を改善することを提案する。 このアプローチは、コルモゴロフ複雑性に基づく構成性の解析によってさらに動機づけられる。 この変化の組み合わせは、他のアプローチよりも合成一般化が改善され、よく理解されている潜在因子を持つ視覚タスクと、潜在構造が不明な実際の分子グラフ予測タスクの両方においてこれらの改善が示されている。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Vector-based Representation is the Key: A Study on Disentanglement and Compositional Generalization [77.57425909520167]
  良質な概念認識と斬新な概念構成を両立させることが可能であることを示す。 本研究では,スカラーベース・アンタングル化作業のベクトルベース化を図り,両機能を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:05:15Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)
• An Ensemble with Shared Representations Based on Convolutional Networks for Continually Learning Facial Expressions [19.72032908764253]
  アンサンブル予測による半教師付き学習は、人間とロボットの相互作用中に不規則な表情の高い露出を利用するための効率的な戦略です。 伝統的なアンサンブルベースのシステムは、高い冗長性につながる複数の独立した分類器で構成されています。 提案手法は, 異なるデータ分布から抽出したアンサンブルサンプルを用いて, 表情を連続的に学習できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T20:40:52Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Structural Inductive Biases in Emergent Communication [36.26083882473554]
  グラフ参照ゲームの開発による人工エージェントにおける表現学習の影響について検討する。 グラフニューラルネットワークによりパラメータ化されたエージェントは、単語のバッグやシーケンスモデルと比較して、より構成的な言語を開発する。
  論文  参考訳（メタデータ） (2020-02-04T14:59:08Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。