論文の概要: A HINT from Arithmetic: On Systematic Generalization of Perception, Syntax, and Semantics

• arxiv url: http://arxiv.org/abs/2103.01403v1
• Date: Tue, 2 Mar 2021 01:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:30:29.249699
• Title: A HINT from Arithmetic: On Systematic Generalization of Perception, Syntax, and Semantics
• Title（参考訳）: A HINT from Arithmetic: on systematic generalization of Perception, Syntax, and Semantics (特集 認知・シンタックス・セマンティックス)
• Authors: Qing Li, Siyuan Huang, Yining Hong, Yixin Zhu, Ying Nian Wu, Song-Chun Zhu
• Abstract要約: 我々は、知覚、構文、および意味論の3つの異なるレベルで一般化可能な概念を学習する機械の能力を研究します。 本稿では,ニューラルネットワークと文法解析とプログラム合成を統合したニューラルシンボリックシステムを提案する。 実験では、提案されたニューラルシンボリックシステムは強力な一般化能力を示し、RNNやTransformerのようなエンドツーエンドのニューラルメソッドを大幅に上回る。
• 参考スコア（独自算出の注目度）: 112.76185821895037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by humans' remarkable ability to master arithmetic and generalize to unseen problems, we present a new dataset, HINT, to study machines' capability of learning generalizable concepts at three different levels: perception, syntax, and semantics. In particular, concepts in HINT, including both digits and operators, are required to learn in a weakly-supervised fashion: Only the final results of handwriting expressions are provided as supervision. Learning agents need to reckon how concepts are perceived from raw signals such as images (i.e., perception), how multiple concepts are structurally combined to form a valid expression (i.e., syntax), and how concepts are realized to afford various reasoning tasks (i.e., semantics). With a focus on systematic generalization, we carefully design a five-fold test set to evaluate both the interpolation and the extrapolation of learned concepts. To tackle this challenging problem, we propose a neural-symbolic system by integrating neural networks with grammar parsing and program synthesis, learned by a novel deduction--abduction strategy. In experiments, the proposed neural-symbolic system demonstrates strong generalization capability and significantly outperforms end-to-end neural methods like RNN and Transformer. The results also indicate the significance of recursive priors for extrapolation on syntax and semantics.
• Abstract（参考訳）: 人間が算術を習得し、未知の問題に一般化する能力に着想を得て、知覚、構文、セマンティクスの3つの異なるレベルで一般化可能な概念を学習する機械の能力を研究するための新しいデータセット「ヒント」を提案する。 特に、指と演算子の両方を含むヒントの概念は、弱い教師のやり方で学ぶ必要がある:手書き式の最終結果のみが監督として提供される。 学習エージェントは、イメージ(知覚)のような生の信号から概念がどのように認識されるか、複数の概念が構造的に組み合わされ、有効な表現(構文)を形成するか、そして様々な推論タスク(意味論)が実現されるかを考える必要がある。 体系的な一般化に焦点をあてて,学習概念の補間と補間の両方を評価する5次元テストセットを慎重に設計する。 そこで本研究では,ニューラルネットと文法解析とプログラム合成を統合し,新たな推論・アブダクション戦略によって学習したニューラルシンボリックシステムを提案する。 実験では、提案されたニューラルシンボリックシステムは強力な一般化能力を示し、RNNやTransformerのようなエンドツーエンドのニューラルメソッドを大幅に上回る。 また,構文と意味論の補間における再帰的前置法の重要性も示唆した。

関連論文リスト

• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• CAT: Interpretable Concept-based Taylor Additive Models [17.73885202930879]
  一般化付加モデル(GAM)は、機能レベルでディープニューラルネットワーク(DNN)を説明することができる。 GAMは多数のモデルパラメータを必要とし、オーバーフィットする傾向があり、トレーニングやスケールが困難になる。 我々は、このプロセスに対して、新しい解釈可能な概念bAsed Taylor加法モデルであるCATを提案する。
  論文  参考訳（メタデータ） (2024-06-25T20:43:15Z)
• Sketch-Plan-Generalize: Continual Few-Shot Learning of Inductively Generalizable Spatial Concepts [6.932008652560561]
  我々は、観測されたインスタンスを説明するsuccinct$ program$表現を推論する学習アーキテクチャを模索する。 提案手法は,大規模言語モデルのコード生成能力とニューラルネットワークの基底表現の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2024-04-11T14:09:41Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Unsupervised discovery of Interpretable Visual Concepts [0.0]
  モデルの決定を説明する2つの方法を提案し,グローバルな解釈可能性を高める。 咬合・感性分析(因果性を含む)にインスパイアされた1つの方法 別の方法は、クラス認識順序相関 (Class-Aware Order correlation, CAOC) と呼ばれる新しいメトリクスを用いて、最も重要な画像領域を世界規模で評価する。
  論文  参考訳（メタデータ） (2023-08-31T07:53:02Z)
• FACT: Learning Governing Abstractions Behind Integer Sequences [7.895232155155041]
  完全なフィニシャルな記述を認める概念の学習に関する新しい見解を紹介する。 機械学習モデルによる概念理解を目的としたベンチマークタスクのセットを配置する。 知識表現と推論の研究をさらに支援するため,FACT(Finitary Abstraction Toolkit)を提案する。
  論文  参考訳（メタデータ） (2022-09-20T08:20:03Z)
• RelViT: Concept-guided Vision Transformer for Visual Relational Reasoning [139.0548263507796]
  私たちは視覚推論のベースモデルとして視覚変換器(ViT)を使用します。 我々は、ViTの推論能力を改善するために、オブジェクトエンティティとして定義された概念とその関係をよりよく活用する。 HICO と GQA のベンチマークでは,提案モデルである概念誘導型視覚変換器 (略して RelViT ) が従来の手法よりも大幅に優れていたことを示す。
  論文  参考訳（メタデータ） (2022-04-24T02:46:43Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。