論文の概要: Revisit Systematic Generalization via Meaningful Learning
- arxiv url: http://arxiv.org/abs/2003.06658v5
- Date: Tue, 18 Oct 2022 07:36:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 19:54:43.712231
- Title: Revisit Systematic Generalization via Meaningful Learning
- Title（参考訳）: 意味学習による体系的一般化の再検討
- Authors: Ning Shi, Boxin Wang, Wei Wang, Xiangyu Liu, Zhouhan Lin
- Abstract要約: 最近の研究は、ニューラルネットワークはそのような認知能力に本質的に効果がないように見えると主張している。
新しい概念と古い概念のセマンティックリンクを条件としたシーケンス・ツー・シーケンス・モデルの合成スキルを再評価する。
- 参考スコア（独自算出の注目度）: 15.90288956294373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans can systematically generalize to novel compositions of existing
concepts. Recent studies argue that neural networks appear inherently
ineffective in such cognitive capacity, leading to a pessimistic view and a
lack of attention to optimistic results. We revisit this controversial topic
from the perspective of meaningful learning, an exceptional capability of
humans to learn novel concepts by connecting them with known ones. We reassess
the compositional skills of sequence-to-sequence models conditioned on the
semantic links between new and old concepts. Our observations suggest that
models can successfully one-shot generalize to novel concepts and compositions
through semantic linking, either inductively or deductively. We demonstrate
that prior knowledge plays a key role as well. In addition to synthetic tests,
we further conduct proof-of-concept experiments in machine translation and
semantic parsing, showing the benefits of meaningful learning in applications.
We hope our positive findings will encourage excavating modern neural networks'
potential in systematic generalization through more advanced learning schemes.
- Abstract（参考訳）: 人間は既存の概念の新しい構成に体系的に一般化することができる。
最近の研究では、ニューラルネットワークはそのような認知能力において本質的に非効率に見え、悲観的な見方と楽観的な結果への注意の欠如につながっていると主張している。
我々は、この議論を有意義な学習の観点から再検討する。人間は既知の概念と結びつけることで、新しい概念を学べる例外的な能力である。
新しい概念と古い概念のセマンティックリンクを条件としたシーケンス・ツー・シーケンス・モデルの合成スキルを再評価する。
我々の観察から、モデルは帰納的、または帰納的に、意味的リンクを通じて、新しい概念や構成にうまく一般化できることが示唆される。
事前知識が重要な役割を担っていることを実証する。
合成試験に加えて,機械翻訳や意味解析における概念実証実験も実施し,アプリケーションにおける意味学習のメリットを示す。
我々のポジティブな発見は、より高度な学習方式を通じて、体系的一般化における現代のニューラルネットワークの可能性を引き出すことを期待している。
関連論文リスト
- Restyling Unsupervised Concept Based Interpretable Networks with Generative Models [14.604305230535026]
本稿では,事前学習された生成モデルの潜在空間に概念特徴をマッピングすることに依存する新しい手法を提案する。
本手法の有効性を,解釈可能な予測ネットワークの精度,再現性,学習概念の忠実性,一貫性の観点から定量的に検証した。
論文 参考訳（メタデータ） (2024-07-01T14:39:41Z) - From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks [0.0]
我々は、哲学、認知科学、神経科学の幅広い読者のために、機械学習による最近の経験的研究をレビューする。
特に,我々は,合成一般化機能を備えたニューラルネットワークを実現するための2つのアプローチを強調した。
これらの発見が人間の認知における構成性の研究にもたらす意味について論じる。
論文 参考訳（メタデータ） (2024-05-24T02:36:07Z) - Distilling Symbolic Priors for Concept Learning into Neural Networks [9.915299875869046]
メタラーニングにより,シンボルベイズモデルから事前分布を蒸留することにより,インダクティブバイアスを人工知能ニューラルネットワークでインスタンス化できることを示す。
このアプローチを用いて、短い論理式として表現された概念に対する帰納的バイアスを持つニューラルネットワークを作成する。
論文 参考訳（メタデータ） (2024-02-10T20:06:26Z) - From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks [15.837316393474403]
概念は学習と推論の自然な結びつきとして機能する。
知識はニューラルネットワークから抽出できるだけでなく、概念知識をニューラルネットワークアーキテクチャに挿入することもできる。
論文 参考訳（メタデータ） (2023-10-18T11:08:02Z) - Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。
ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
論文 参考訳（メタデータ） (2022-06-03T12:24:49Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - A Minimalist Dataset for Systematic Generalization of Perception,
Syntax, and Semantics [131.93113552146195]
我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。
HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。
我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
論文 参考訳（メタデータ） (2021-03-02T01:32:54Z) - Optimism in the Face of Adversity: Understanding and Improving Deep
Learning through Adversarial Robustness [63.627760598441796]
深層学習における対角的強靭性の分野を詳細に検討する。
直感的な対向例と深層ニューラルネットワークの幾何学的関係を強調した。
セキュリティを超えた敵の堅牢性の主な応用について概説する。
論文 参考訳（メタデータ） (2020-10-19T16:03:46Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳（メタデータ） (2020-06-18T15:50:57Z) - Generating new concepts with hybrid neuro-symbolic models [22.336243882030026]
人間の概念的知識は、新しいが高度に構造化された概念を生成する能力を支持する。
ある伝統は構造化された知識を強調し、概念は直感的な理論に埋め込まれるか、複雑な記号的な知識構造に組織化されている。
第二の伝統は統計的知識を強調し、概念的知識はニューラルネットワークやその他の統計モデルの訓練によって得られたリッチな相関構造から生まれたものと見なしている。
論文 参考訳（メタデータ） (2020-03-19T18:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。