論文の概要: On Semantic Cognition, Inductive Generalization, and Language Models

• arxiv url: http://arxiv.org/abs/2111.02603v1
• Date: Thu, 4 Nov 2021 03:19:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 12:40:33.818002
• Title: On Semantic Cognition, Inductive Generalization, and Language Models
• Title（参考訳）: 意味認知、帰納的一般化、言語モデルについて
• Authors: Kanishka Misra
• Abstract要約: 私の研究は、自然言語のみを予測するために訓練されたニューラルネットワークモデル(言語モデルまたはLM)における意味的知識の理解に焦点を当てています。 そこで,本研究では,人間による背景知識の活用,帰納的跳躍,概念とその特性に関する新たな情報からの一般化,といった現象に着想を得た枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.2538209532048867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: My doctoral research focuses on understanding semantic knowledge in neural network models trained solely to predict natural language (referred to as language models, or LMs), by drawing on insights from the study of concepts and categories grounded in cognitive science. I propose a framework inspired by 'inductive reasoning,' a phenomenon that sheds light on how humans utilize background knowledge to make inductive leaps and generalize from new pieces of information about concepts and their properties. Drawing from experiments that study inductive reasoning, I propose to analyze semantic inductive generalization in LMs using phenomena observed in human-induction literature, investigate inductive behavior on tasks such as implicit reasoning and emergent feature recognition, and analyze and relate induction dynamics to the learned conceptual representation space.
• Abstract（参考訳）: 私の博士研究は、認知科学の基礎となる概念やカテゴリの研究から洞察を得て、自然言語(言語モデルまたはLMと呼ばれる)を予測するためにのみ訓練されたニューラルネットワークモデルにおける意味的知識を理解することに焦点を当てています。 そこで,本研究では,人間による背景知識の活用,帰納的跳躍,概念とその特性に関する新たな情報からの一般化,といった現象に着想を得た枠組みを提案する。 帰納的推論(inductive reasoning)を研究する実験から,人為的推論文学における現象を用いたLMにおける意味的帰納的一般化の分析,暗黙的推論や創発的特徴認識などのタスクにおける帰納的行動の調査,学習された概念表現空間への帰納的ダイナミクスの解析と関連性について考察する。

関連論文リスト

• The Cognitive Revolution in Interpretability: From Explaining Behavior to Interpreting Representations and Algorithms [3.3653074379567096]
  機械的解釈可能性(MI)は、大きな言語モデルのような基礎モデルによって学習された特徴と暗黙のアルゴリズムを研究する別の研究領域として登場した。 我々は、20世紀の心理学における「認知革命」を反映した深層学習解釈の移行を促進するために、現在の手法が熟していると論じる。 計算神経科学におけるキーパラレルを反映した分類法を提案し,MI研究の2つの幅広いカテゴリについて述べる。
  論文  参考訳（メタデータ） (2024-08-11T20:50:16Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
  言語モデル(LM)は、しばしば帰納的推論に不足する。 我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。 本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
  論文  参考訳（メタデータ） (2023-10-12T17:51:10Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Rejecting Cognitivism: Computational Phenomenology for Deep Learning [5.070542698701158]
  本稿では,新しい手法である計算現象学に基づくディープラーニングのための非表現主義的フレームワークを提案する。 我々は、人工知能が外部エンティティの表現を符号化する深層学習の現代の認知論的解釈を拒絶する。
  論文  参考訳（メタデータ） (2023-02-16T20:05:06Z)
• Mapping Knowledge Representations to Concepts: A Review and New Perspectives [0.6875312133832078]
  本論は、内部表現と人間の理解可能な概念を関連付けることを目的とした研究に焦点をあてる。 この分類学と因果関係の理論は、ニューラルネットワークの説明から期待できるもの、期待できないものを理解するのに有用である。 この分析は、モデル説明可能性の目標に関するレビューされた文献の曖昧さも明らかにしている。
  論文  参考訳（メタデータ） (2022-12-31T12:56:12Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• A Property Induction Framework for Neural Language Models [8.08493736237816]
  本稿では,ニューラルネットワーク言語モデル(LM)を用いて特性誘導を行うフレームワークを提案する。 LMは,カテゴリメンバシップに基づいて,新規プロパティを一般化する帰納的嗜好を示す。
  論文  参考訳（メタデータ） (2022-05-13T22:05:49Z)
• Revisit Systematic Generalization via Meaningful Learning [15.90288956294373]
  最近の研究は、ニューラルネットワークはそのような認知能力に本質的に効果がないように見えると主張している。 新しい概念と古い概念のセマンティックリンクを条件としたシーケンス・ツー・シーケンス・モデルの合成スキルを再評価する。
  論文  参考訳（メタデータ） (2020-03-14T15:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。