論文の概要: Using Artificial Populations to Study Psychological Phenomena in Neural Models

• arxiv url: http://arxiv.org/abs/2308.08032v1
• Date: Tue, 15 Aug 2023 20:47:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 15:33:45.769961
• Title: Using Artificial Populations to Study Psychological Phenomena in Neural Models
• Title（参考訳）: 人工集団を用いた神経モデルにおける心理現象の研究
• Authors: Jesse Roberts, Kyle Moore, Drew Wilenzick, Doug Fisher
• Abstract要約: 言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。 我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。 本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent proliferation of research into transformer based natural language processing has led to a number of studies which attempt to detect the presence of human-like cognitive behavior in the models. We contend that, as is true of human psychology, the investigation of cognitive behavior in language models must be conducted in an appropriate population of an appropriate size for the results to be meaningful. We leverage work in uncertainty estimation in a novel approach to efficiently construct experimental populations. The resultant tool, PopulationLM, has been made open source. We provide theoretical grounding in the uncertainty estimation literature and motivation from current cognitive work regarding language models. We discuss the methodological lessons from other scientific communities and attempt to demonstrate their application to two artificial population studies. Through population based experimentation we find that language models exhibit behavior consistent with typicality effects among categories highly represented in training. However, we find that language models don't tend to exhibit structural priming effects. Generally, our results show that single models tend to over estimate the presence of cognitive behaviors in neural models.
• Abstract（参考訳）: 近年、トランスフォーマーに基づく自然言語処理の研究が急増し、モデルにおける人間のような認知行動の存在を検出する研究が数多く行われている。 ヒトの心理学と同様に、言語モデルにおける認知行動の調査は、結果が有意義になるのに適切な大きさの適切な集団で行わなければならないと主張する。 我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。 結果として得られたツールである populationlm がオープンソースになった。 言語モデルに関する現在の認知作業から得られる不確実性推定文献と動機付けに理論的根拠を与える。 我々は他の科学コミュニティからの方法論的教訓を議論し、2つの人工集団研究への応用を実証する。 集団に基づく実験を通して、言語モデルは訓練において高度に表現されたカテゴリー間での典型的効果と整合した振る舞いを示す。 しかし、言語モデルは構造的なプライミング効果を示さない傾向がある。 一般に,単一モデルでは認知行動の存在を過大評価する傾向がみられた。

関連論文リスト

• Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models [29.50162863143141]
  様々なニューラルネットワークモデルと心理的に妥当なモデルの符号化性能を比較した。 意外なことに、心理学的に妥当なモデルが、さまざまな文脈でニューラルネットワークモデルより優れていることが判明した。
  論文  参考訳（メタデータ） (2024-04-30T08:48:07Z)
• Computational Models to Study Language Processing in the Human Brain: A Survey [47.81066391664416]
  本稿では,脳研究における計算モデルの利用の取り組みを概観し,新たな傾向を浮き彫りにしている。 我々の分析によると、すべてのデータセットで他のモデルよりも優れているモデルはない。
  論文  参考訳（メタデータ） (2024-03-20T08:01:22Z)
• Representation Surgery: Theory and Practice of Affine Steering [72.61363182652853]
  言語モデルは、しばしば好ましくない振る舞いを示す。 モデルが望ましくない振る舞いを示すのを防ぐための自然な(そして一般的な)アプローチの1つは、モデルの表現を操ることである。 本稿では, ステアリング機能の形式的および経験的特性について検討する。
  論文  参考訳（メタデータ） (2024-02-15T00:20:30Z)
• Language Aligned Visual Representations Predict Human Behavior in Naturalistic Learning Tasks [0.0]
  人間は自然物の関連する特徴を識別し、一般化する能力を持っている。 カテゴリー学習と報奨学習の2つの実験を行った。 参加者は数回の臨床試験で関連する刺激の特徴を特定できた。 本研究では,多様な深層学習モデルの試行錯誤精度を評価するため,広範囲なモデル比較を行った。
  論文  参考訳（メタデータ） (2023-06-15T08:18:29Z)
• Questioning the Survey Responses of Large Language Models [18.61486375469644]
  我々は,米国国勢調査局が確立したアメリカン・コミュニティ・サーベイに基づいて,言語モデルの調査結果を批判的に調査する。 モデル応答は、バイアスの順序付けとラベル付けによって制御され、体系的バイアスの調整後に持続しないモデル間のバリエーションが生じる。 本研究は, モデルによる調査回答を, 個体群と同等に扱うことの注意を喚起するものである。
  論文  参考訳（メタデータ） (2023-06-13T17:48:27Z)
• Turning large language models into cognitive models [0.0]
  大規模言語モデルが認知モデルに変換可能であることを示す。 これらのモデルは人間の行動の正確な表現を提供し、2つの意思決定領域において従来の認知モデルよりも優れている。 これらの結果は、大規模で事前学習されたモデルが一般的な認知モデルに適応できることを示唆している。
  論文  参考訳（メタデータ） (2023-06-06T18:00:01Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。