論文の概要: A Property Induction Framework for Neural Language Models
- arxiv url: http://arxiv.org/abs/2205.06910v1
- Date: Fri, 13 May 2022 22:05:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 15:52:07.571266
- Title: A Property Induction Framework for Neural Language Models
- Title（参考訳）: ニューラルネットワークモデルのための特性誘導フレームワーク
- Authors: Kanishka Misra, Julia Taylor Rayz, Allyson Ettinger
- Abstract要約: 本稿では,ニューラルネットワーク言語モデル(LM)を用いて特性誘導を行うフレームワークを提案する。
LMは,カテゴリメンバシップに基づいて,新規プロパティを一般化する帰納的嗜好を示す。
- 参考スコア（独自算出の注目度）: 8.08493736237816
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To what extent can experience from language contribute to our conceptual
knowledge? Computational explorations of this question have shed light on the
ability of powerful neural language models (LMs) -- informed solely through
text input -- to encode and elicit information about concepts and properties.
To extend this line of research, we present a framework that uses
neural-network language models (LMs) to perform property induction -- a task in
which humans generalize novel property knowledge (has sesamoid bones) from one
or more concepts (robins) to others (sparrows, canaries). Patterns of property
induction observed in humans have shed considerable light on the nature and
organization of human conceptual knowledge. Inspired by this insight, we use
our framework to explore the property inductions of LMs, and find that they
show an inductive preference to generalize novel properties on the basis of
category membership, suggesting the presence of a taxonomic bias in their
representations.
- Abstract（参考訳）: 言語の経験が私たちの概念的知識にどの程度貢献できるか?
この問題の計算的な調査は、概念や特性に関する情報をエンコードし、引き出すための強力なニューラルネットワークモデル(LM) -- テキスト入力によってのみ通知される -- の能力に光を当てている。
そこで,本研究では,ニューラルネットワーク言語モデル(lms)を用いて特性誘導を行う枠組みを提案する。この手法では,人間が1つ以上の概念(ロビン)から他の概念(スパロウ,カナリア)へ新たな特性知識(セサミイド骨)を一般化する。
人間で観察される特性誘導のパターンは、人間の概念的知識の性質と組織にかなりの光を当てている。
この知見に触発されて,私たちのフレームワークを用いて,LMの特性誘導を探索し,それらの表現に分類学的バイアスが存在することを示唆し,カテゴリメンバーシップに基づいて新規プロパティを一般化する帰納的嗜好を示す。
関連論文リスト
- Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - OC-NMN: Object-centric Compositional Neural Module Network for
Generative Visual Analogical Reasoning [49.12350554270196]
モジュラリティがいかにして、想像にインスパイアされた構成データ拡張フレームワークを導出できるかを示す。
本手法は, オブジェクト中心合成ニューラルネットワーク (OC-NMN) を用いて, 視覚生成推論タスクを, ドメイン固有言語を使わずに, オブジェクトに適用した一連のプリミティブに分解する。
論文 参考訳（メタデータ） (2023-10-28T20:12:58Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-15T08:33:08Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳（メタデータ） (2023-06-04T15:44:51Z) - Mapping Knowledge Representations to Concepts: A Review and New
Perspectives [0.6875312133832078]
本論は、内部表現と人間の理解可能な概念を関連付けることを目的とした研究に焦点をあてる。
この分類学と因果関係の理論は、ニューラルネットワークの説明から期待できるもの、期待できないものを理解するのに有用である。
この分析は、モデル説明可能性の目標に関するレビューされた文献の曖昧さも明らかにしている。
論文 参考訳（メタデータ） (2022-12-31T12:56:12Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳（メタデータ） (2022-12-21T11:12:14Z) - Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。
ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
論文 参考訳（メタデータ） (2022-06-03T12:24:49Z) - Discovering Latent Concepts Learned in BERT [21.760620298330235]
事前学習されたBERTモデルに潜伏概念が存在するかを検討する。
また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
論文 参考訳（メタデータ） (2022-05-15T09:45:34Z) - On Semantic Cognition, Inductive Generalization, and Language Models [0.2538209532048867]
私の研究は、自然言語のみを予測するために訓練されたニューラルネットワークモデル(言語モデルまたはLM)における意味的知識の理解に焦点を当てています。
そこで,本研究では,人間による背景知識の活用,帰納的跳躍,概念とその特性に関する新たな情報からの一般化,といった現象に着想を得た枠組みを提案する。
論文 参考訳（メタデータ） (2021-11-04T03:19:52Z) - Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。
我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。
本稿では,構文研究における様々な研究課題の意義について概説する。
論文 参考訳（メタデータ） (2021-10-17T18:25:23Z) - A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。
これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
論文 参考訳（メタデータ） (2021-10-01T08:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。