論文の概要: Do Large Language Models know what humans know?

• arxiv url: http://arxiv.org/abs/2209.01515v1
• Date: Sun, 4 Sep 2022 01:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:27:35.797530
• Title: Do Large Language Models know what humans know?
• Title（参考訳）: 大きな言語モデルは、人間が知っていることを知っていますか?
• Authors: Sean Trott, Cameron Jones, Tyler Chang, James Michaelov, Benjamin Bergen
• Abstract要約: 我々は,多量の人間の言語に曝露したモデルが心の理論の証拠となるかどうかを評価することによって,言語暴露仮説の生存可能性を検証する。 本稿では,人間と最先端の大規模言語モデルであるGPT-3の双方に対して,心の理論を評価するために広く用いられているFalse Belief Taskの言語版について述べる。 どちらも他人の信念に敏感であるが、言語モデルは人間と同等に機能せず、その行動の全範囲を説明できない。
• 参考スコア（独自算出の注目度）: 6.2997667081978825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans can attribute mental states to others, a capacity known as Theory of Mind. However, it is unknown to what extent this ability results from an innate biological endowment or from experience accrued through child development, particularly exposure to language describing others' mental states. We test the viability of the language exposure hypothesis by assessing whether models exposed to large quantities of human language develop evidence of Theory of Mind. In a pre-registered analysis, we present a linguistic version of the False Belief Task, widely used to assess Theory of Mind, to both human participants and a state-of-the-art Large Language Model, GPT-3. Both are sensitive to others' beliefs, but the language model does not perform as well as the humans, nor does it explain the full extent of their behavior, despite being exposed to more language than a human would in a lifetime. This suggests that while language exposure may in part explain how humans develop Theory of Mind, other mechanisms are also responsible.
• Abstract（参考訳）: 人間は心の理論として知られる精神状態を他人に当てはめることができる。 しかし、この能力が生来の生物学的養育や、発達を通じて得られた経験、特に他者の精神状態を記述する言語にどの程度影響するかは不明である。 大量のヒト言語に曝露したモデルが心の理論の証拠を発達させるかどうかを評価することにより,言語暴露仮説の妥当性を検証した。 本研究は,人間と最先端の大規模言語モデルgpt-3に対して,心の理論を評価するために広く用いられている偽信念課題の言語版を提案する。 どちらも他人の信念に敏感であるが、言語モデルは人間ほどには機能しないが、人間よりも多くの言語に晒されているにもかかわらず、彼らの行動の完全な範囲を説明することもない。 これは、言語曝露が人間の心の理論の発展の仕方を説明する一方で、他のメカニズムも責任を負っていることを示唆している。

関連論文リスト

• Cross-lingual Speech Emotion Recognition: Humans vs. Self-Supervised Models [16.0617753653454]
  本研究では,人間のパフォーマンスとSSLモデルの比較分析を行った。 また、モデルと人間のSER能力を発話レベルとセグメントレベルの両方で比較する。 その結果,適切な知識伝達を行うモデルでは,対象言語に適応し,ネイティブ話者に匹敵する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-09-25T13:27:17Z)
• Perceptions of Linguistic Uncertainty by Language Models and Humans [26.69714008538173]
  言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 この感度は、言語モデルは以前の知識に基づいてバイアスの影響を受けやすいことを示している。
  論文  参考訳（メタデータ） (2024-07-22T17:26:12Z)
• Theory of Mind abilities of Large Language Models in Human-Robot Interaction : An Illusion? [18.770522926093786]
  大規模言語モデルは、様々な自然言語や生成タスクにおいて例外的な生成能力を示している。 高い利害関係とおそらく不可逆的な結果を持つToM能力の特殊応用について検討する。 本研究では,ロボットがLarge Language Model(LLM)を用いてロボットの動作を人間の観察者と同様の方法で評価する,知覚的行動認識の課題に焦点を当てる。
  論文  参考訳（メタデータ） (2024-01-10T18:09:36Z)
• The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
  確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。 本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。 我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
  論文  参考訳（メタデータ） (2023-06-25T19:38:01Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Do language models make human-like predictions about the coreferents of Italian anaphoric zero pronouns? [0.6091702876917281]
  12の現代言語モデルが、ゼロ代名詞の文に晒されたときの人間の振舞いを反映する期待を示すかどうかを検証した。 XGLM 2.9B、4.5B、7.5Bの3つのモデルが、全ての実験から人間の行動を捉えている。 この結果は、コア推論に対する人間の期待は、言語への露出から導き出すことができ、また、人間の振る舞いをよりよく反映できる言語モデルの特徴を示すことを示唆している。
  論文  参考訳（メタデータ） (2022-08-30T22:06:07Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
  大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。 これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。 特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
  論文  参考訳（メタデータ） (2022-03-18T12:26:37Z)
• PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World [86.21137454228848]
  我々はPIGLeTを物理力学モデルと別言語モデルに分類する。 PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。 80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
  論文  参考訳（メタデータ） (2021-06-01T02:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。