論文の概要: Perceptions of Linguistic Uncertainty by Language Models and Humans

• arxiv url: http://arxiv.org/abs/2407.15814v2
• Date: Thu, 7 Nov 2024 17:33:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 20:01:00.653444
• Title: Perceptions of Linguistic Uncertainty by Language Models and Humans
• Title（参考訳）: 言語モデルと人間による言語不確かさの知覚
• Authors: Catarina G Belem, Markelle Kelly, Mark Steyvers, Sameer Singh, Padhraic Smyth,
• Abstract要約: 言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 この感度は、言語モデルは以前の知識に基づいてバイアスの影響を受けやすいことを示している。
• 参考スコア（独自算出の注目度）: 26.69714008538173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: _Uncertainty expressions_ such as "probably" or "highly unlikely" are pervasive in human language. While prior work has established that there is population-level agreement in terms of how humans quantitatively interpret these expressions, there has been little inquiry into the abilities of language models in the same context. In this paper, we investigate how language models map linguistic expressions of uncertainty to numerical responses. Our approach assesses whether language models can employ theory of mind in this setting: understanding the uncertainty of another agent about a particular statement, independently of the model's own certainty about that statement. We find that 7 out of 10 models are able to map uncertainty expressions to probabilistic responses in a human-like manner. However, we observe systematically different behavior depending on whether a statement is actually true or false. This sensitivity indicates that language models are substantially more susceptible to bias based on their prior knowledge (as compared to humans). These findings raise important questions and have broad implications for human-AI and AI-AI communication.
• Abstract（参考訳）: _Uncertainty Expression_ は「おそらく」あるいは「非常にありそうにない」などの表現が人間の言語に広まる。 先行研究では、人間がこれらの表現をどのように定量的に解釈するかという点で、集団レベルでの合意が確立されているが、同じ文脈における言語モデルの能力についての調査はほとんど行われていない。 本稿では,不確実性の言語表現を数値応答にどう対応させるかを検討する。 我々のアプローチは、言語モデルがこの設定で心の理論を適用できるかどうかを評価する: ある特定の文について他のエージェントの不確実性を理解すること。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 しかし、文が実際に真であるか偽であるかによって、系統的に異なる振る舞いを観察する。 この感度は、言語モデルが(人間と比較して)以前の知識に基づいてバイアスの影響を受けやすいことを示している。 これらの発見は重要な疑問を提起し、人間-AIとAI-AIコミュニケーションに幅広い影響を及ぼす。

関連論文リスト

• A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles [0.06554326244334868]
  我々は,人間の議論的役割処理に関する心理言語学的研究を再現することにより,大規模言語モデルの議論的役割に対する感受性を評価する。 言語モデルでは,動詞とその先行する引数の関係から,可否が決定されるような,可否的かつ不可解な文脈で現れる動詞を識別することができる。 このことは、言語モデルが動詞の可読性を検出する能力は、人間のリアルタイム文処理の基盤となるメカニズムから生じるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-10-21T16:05:58Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation [37.37606905433334]
  我々は,「意味的同値性」により,自然言語の不確実性の測定が困難であることを示す。 意味的エントロピー(semantic entropy)は、共有された意味によって生成される言語的不変性を含むエントロピーである。 本手法は教師なしで,単一のモデルのみを使用し,既製の言語モデルの変更は不要である。
  論文  参考訳（メタデータ） (2023-02-19T20:10:07Z)
• A fine-grained comparison of pragmatic language understanding in humans and language models [2.231167375820083]
  言語モデルと人間を7つの現実的な現象で比較する。 最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。 モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
  論文  参考訳（メタデータ） (2022-12-13T18:34:59Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Do Large Language Models know what humans know? [6.2997667081978825]
  本稿では,False Belief Task の言語版を人間と大規模言語モデル GPT-3 に提示する。 どちらも他人の信念に敏感であるが、言語モデルは確率的行動を大幅に上回るが、人間に劣らず、その行動の完全な範囲を説明できない。 これは、言語曝露による統計的学習が、人間が他人の精神状態について推論する能力をいかに発達させるかを説明する一方で、他のメカニズムも責任を負っていることを示唆している。
  論文  参考訳（メタデータ） (2022-09-04T01:29:53Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
  大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。 これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。 特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
  論文  参考訳（メタデータ） (2022-03-18T12:26:37Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Statistical patterns of word frequency suggesting the probabilistic nature of human languages [5.059800023492045]
  この研究は、言語的普遍性、ダイアクロニックドリフト、言語の変化といった重要な言語問題を、仮釈放の確率と頻度パターンに翻訳できることを示している。 これらの結果から,人間の言語は自然の確率論的システムである可能性が示唆され,統計学が人間の言語の本質的特性を成す可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-01T00:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。