論文の概要: Compositional Processing Emerges in Neural Networks Solving Math Problems

• arxiv url: http://arxiv.org/abs/2105.08961v1
• Date: Wed, 19 May 2021 07:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 18:45:17.400190
• Title: Compositional Processing Emerges in Neural Networks Solving Math Problems
• Title（参考訳）: 計算問題を解決するニューラルネットワークに合成処理が出現
• Authors: Jacob Russin, Roland Fernandez, Hamid Palangi, Eric Rosen, Nebojsa Jojic, Paul Smolensky, Jianfeng Gao
• Abstract要約: 人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
• 参考スコア（独自算出の注目度）: 100.80518350845668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A longstanding question in cognitive science concerns the learning mechanisms underlying compositionality in human cognition. Humans can infer the structured relationships (e.g., grammatical rules) implicit in their sensory observations (e.g., auditory speech), and use this knowledge to guide the composition of simpler meanings into complex wholes. Recent progress in artificial neural networks has shown that when large models are trained on enough linguistic data, grammatical structure emerges in their representations. We extend this work to the domain of mathematical reasoning, where it is possible to formulate precise hypotheses about how meanings (e.g., the quantities corresponding to numerals) should be composed according to structured rules (e.g., order of operations). Our work shows that neural networks are not only able to infer something about the structured relationships implicit in their training data, but can also deploy this knowledge to guide the composition of individual meanings into composite wholes.
• Abstract（参考訳）: 認知科学における長年の疑問は、人間の認知における構成性の基礎となる学習メカニズムに関するものである。 人間は、知覚的観察(聴覚音声など)において暗黙的に構造化された関係(文法規則など)を推論し、この知識を使って単純な意味の合成を複雑な全体へと導くことができる。 ニューラルネットワークの最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、その表現に文法構造が現れることを示している。 ここでは、意味(例えば、数字に対応する量)がどのように構造化された規則(例えば、演算の順序)に基づいて構成されるべきかについて、正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに隠された構造化された関係について何かを推測できるだけでなく、個々の意味の合成を複合的な全体へと導くためにこの知識を展開できることを示しています。

関連論文リスト

• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks [0.0]
  我々は、哲学、認知科学、神経科学の幅広い読者のために、機械学習による最近の経験的研究をレビューする。 特に,我々は,合成一般化機能を備えたニューラルネットワークを実現するための2つのアプローチを強調した。 これらの発見が人間の認知における構成性の研究にもたらす意味について論じる。
  論文  参考訳（メタデータ） (2024-05-24T02:36:07Z)
• Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings [19.667133565610087]
  構成の一般化は人間には容易だが、ディープニューラルネットワークには難しい。 簡単な埋め込みモデルで繰り返し学習を行うことにより、この能力を向上させることを提案する。 このような変化の組み合わせは、他のアプローチよりも構成の一般化を改善することが示される。
  論文  参考訳（メタデータ） (2023-10-28T18:30:30Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• Understanding understanding: a renormalization group inspired model of (artificial) intelligence [0.0]
  本稿では,科学的および人工知能システムにおける理解の意味について述べる。 理解の数学的定義を与え、共通知恵とは対照的に、入力集合上の確率空間を定義する。 この枠組みに科学的理解がどのように適合するかを示し、科学的課題とパターン認識の違いを実証する。
  論文  参考訳（メタデータ） (2020-10-26T11:11:46Z)
• Compositional Networks Enable Systematic Generalization for Grounded Language Understanding [21.481360281719006]
  人間は、今まで遭遇したことのない概念の組み合わせを含む新しい文を理解する際に、驚くほど柔軟です。 近年の研究では、深層ネットワークは、新しい文で表されるときの人間の言語能力を模倣できるが、体系的な変化は、ネットワークの言語理解能力の限界を明らかにする。 本稿では,gSCANデータセットの一般化問題に対処することで,これらの制限を克服できることを実証する。
  論文  参考訳（メタデータ） (2020-08-06T16:17:35Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。