論文の概要: A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics

• arxiv url: http://arxiv.org/abs/2103.01403v3
• Date: Tue, 18 Apr 2023 07:54:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 19:29:01.069455
• Title: A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics
• Title（参考訳）: 知覚・構文・意味の体系的一般化のためのミニマリストデータセット
• Authors: Qing Li, Siyuan Huang, Yining Hong, Yixin Zhu, Ying Nian Wu, Song-Chun Zhu
• Abstract要約: 我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
• 参考スコア（独自算出の注目度）: 131.93113552146195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by humans' exceptional ability to master arithmetic and generalize to new problems, we present a new dataset, Handwritten arithmetic with INTegers (HINT), to examine machines' capability of learning generalizable concepts at three levels: perception, syntax, and semantics. In HINT, machines are tasked with learning how concepts are perceived from raw signals such as images (i.e., perception), how multiple concepts are structurally combined to form a valid expression (i.e., syntax), and how concepts are realized to afford various reasoning tasks (i.e., semantics), all in a weakly supervised manner. Focusing on systematic generalization, we carefully design a five-fold test set to evaluate both the interpolation and the extrapolation of learned concepts w.r.t. the three levels. Further, we design a few-shot learning split to determine whether or not models can rapidly learn new concepts and generalize them to more complex scenarios. To comprehend existing models' limitations, we undertake extensive experiments with various sequence-to-sequence models, including RNNs, Transformers, and GPT-3 (with the chain of thought prompting). The results indicate that current models struggle to extrapolate to long-range syntactic dependency and semantics. Models exhibit a considerable gap toward human-level generalization when evaluated with new concepts in a few-shot setting. Moreover, we discover that it is infeasible to solve HINT by merely scaling up the dataset and the model size; this strategy contributes little to the extrapolation of syntax and semantics. Finally, in zero-shot GPT-3 experiments, the chain of thought prompting exhibits impressive results and significantly boosts the test accuracy. We believe the HINT dataset and the experimental findings are of great interest to the learning community on systematic generalization.
• Abstract（参考訳）: 人間が算術を習得し、新しい問題に一般化する能力に触発されて、新しいデータセット、HINT(Hand written arithmetic with INTegers)を提示し、認識、構文、意味論の3つのレベルで一般化可能な概念を学習する機械の能力を調べる。 HINTでは、イメージ(知覚)のような生の信号から概念がどのように認識されるか、複数の概念が構造的に組み合わされて有効な表現(構文)が形成されるか、そして概念がどのように様々な推論タスク(意味論)を実現できるか、といったことを学ぶ。 体系的な一般化に着目し,3段階の学習概念の補間と外挿の両方を評価するための5次元テストセットを慎重に設計する。 さらに、モデルが素早く新しい概念を学習し、より複雑なシナリオに一般化できるかどうかを判断するために、数ショットの学習分割を設計する。 既存のモデルの制約を理解するため、RNN、Transformer、GPT-3(思考の連鎖)など、様々なシーケンス・ツー・シーケンスモデルを用いて広範囲に実験を行った。 その結果、現在のモデルは、長距離構文依存とセマンティクスを外挿するのに苦労していることがわかった。 モデルでは、少数の設定で新しい概念で評価すると、人間レベルの一般化にかなりのギャップがある。 さらに、データセットとモデルサイズを単にスケールアップするだけでHINTを解くことは不可能であることが分かり、この戦略は構文とセマンティクスの補間にはほとんど寄与しない。 最後に、ゼロショットGPT-3実験では、思考促進の連鎖は印象的な結果を示し、テスト精度を大幅に向上させる。 我々は,HINTデータセットと実験結果が,体系的な一般化に関する学習コミュニティにとって大きな関心を持つと考えている。

関連論文リスト

• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• CAT: Interpretable Concept-based Taylor Additive Models [17.73885202930879]
  一般化付加モデル(GAM)は、機能レベルでディープニューラルネットワーク(DNN)を説明することができる。 GAMは多数のモデルパラメータを必要とし、オーバーフィットする傾向があり、トレーニングやスケールが困難になる。 我々は、このプロセスに対して、新しい解釈可能な概念bAsed Taylor加法モデルであるCATを提案する。
  論文  参考訳（メタデータ） (2024-06-25T20:43:15Z)
• Sketch-Plan-Generalize: Continual Few-Shot Learning of Inductively Generalizable Spatial Concepts [6.932008652560561]
  我々は、観測されたインスタンスを説明するsuccinct$ program$表現を推論する学習アーキテクチャを模索する。 提案手法は,大規模言語モデルのコード生成能力とニューラルネットワークの基底表現の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2024-04-11T14:09:41Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Unsupervised discovery of Interpretable Visual Concepts [0.0]
  モデルの決定を説明する2つの方法を提案し,グローバルな解釈可能性を高める。 咬合・感性分析(因果性を含む)にインスパイアされた1つの方法 別の方法は、クラス認識順序相関 (Class-Aware Order correlation, CAOC) と呼ばれる新しいメトリクスを用いて、最も重要な画像領域を世界規模で評価する。
  論文  参考訳（メタデータ） (2023-08-31T07:53:02Z)
• FACT: Learning Governing Abstractions Behind Integer Sequences [7.895232155155041]
  完全なフィニシャルな記述を認める概念の学習に関する新しい見解を紹介する。 機械学習モデルによる概念理解を目的としたベンチマークタスクのセットを配置する。 知識表現と推論の研究をさらに支援するため,FACT(Finitary Abstraction Toolkit)を提案する。
  論文  参考訳（メタデータ） (2022-09-20T08:20:03Z)
• RelViT: Concept-guided Vision Transformer for Visual Relational Reasoning [139.0548263507796]
  私たちは視覚推論のベースモデルとして視覚変換器(ViT)を使用します。 我々は、ViTの推論能力を改善するために、オブジェクトエンティティとして定義された概念とその関係をよりよく活用する。 HICO と GQA のベンチマークでは,提案モデルである概念誘導型視覚変換器 (略して RelViT ) が従来の手法よりも大幅に優れていたことを示す。
  論文  参考訳（メタデータ） (2022-04-24T02:46:43Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。