論文の概要: Modeling Human-like Concept Learning with Bayesian Inference over
Natural Language
- arxiv url: http://arxiv.org/abs/2306.02797v1
- Date: Mon, 5 Jun 2023 11:46:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 15:32:02.564065
- Title: Modeling Human-like Concept Learning with Bayesian Inference over
Natural Language
- Title(参考訳): 自然言語によるベイズ推論を用いた人間的な概念学習のモデル化
- Authors: Kevin Ellis
- Abstract要約: 自然言語の発話に対してベイズ的推論を行うことにより,抽象的記号概念の学習をモデル化する。
効率的な推論には,提案分布として大規模言語モデルを用いる。
- 参考スコア(独自算出の注目度): 7.549360351036772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We model learning of abstract symbolic concepts by performing Bayesian
inference over utterances in natural language. For efficient inference, we use
a large language model as a proposal distribution. We fit a prior to human data
to better model human learners, and evaluate on both generative and logical
concepts.
- Abstract(参考訳): 自然言語における発話上でベイズ推論を行うことで抽象的記号概念の学習をモデル化する。
効率的な推論には、提案分布として大きな言語モデルを用いる。
人間のデータに先行して人間の学習者をモデル化し、生成的概念と論理的概念の両方を評価する。
関連論文リスト
- Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。
既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。
ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
論文 参考訳(メタデータ) (2024-03-30T00:53:53Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Language Models are Bounded Pragmatic Speakers: Understanding RLHF from
a Bayesian Cognitive Modeling Perspective [2.8282906214258805]
本稿では,有界プラグマティック話者と呼ばれる確率論的認知モデルを定式化する。
人間のフィードバックからの強化学習によって微調整された大きな言語モデルは、高速でスローなモデルに似た思考モデルを具現化していることを示す。
論文 参考訳(メタデータ) (2023-05-28T16:04:48Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳(メタデータ) (2023-02-06T10:28:16Z) - A Theory of Human-Like Few-Shot Learning [14.271690184738205]
我々は、フォン・ノイマン=ランダウアーの原理から人間のような小ショット学習の理論を導いた。
変分オートエンコーダ(VAE)のような深部生成モデルを用いて,この理論を近似することができる。
論文 参考訳(メタデータ) (2023-01-03T11:22:37Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳(メタデータ) (2022-12-21T11:12:14Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳(メタデータ) (2022-08-17T00:12:37Z) - Training Language Models with Natural Language Feedback [51.36137482891037]
3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。
合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。
人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
論文 参考訳(メタデータ) (2022-04-29T15:06:58Z) - Probing Neural Language Models for Human Tacit Assumptions [36.63841251126978]
人間はステレオタイプ的暗黙の仮定(STA)または一般的な概念についての命題的信念を持っている。
大規模テキストコーパスキャプチャSTAで訓練された最近のニューラルネットワーク言語モデルを評価するために,単語予測プロンプトの診断セットを構築した。
論文 参考訳(メタデータ) (2020-04-10T01:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。