論文の概要: Psychometric Predictive Power of Large Language Models

• arxiv url: http://arxiv.org/abs/2311.07484v1
• Date: Mon, 13 Nov 2023 17:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 13:20:49.476392
• Title: Psychometric Predictive Power of Large Language Models
• Title（参考訳）: 大規模言語モデルの心理的予測力
• Authors: Tatsuki Kuribayashi, Yohei Oseki, Timothy Baldwin
• Abstract要約: 言語モデルからの次の単語確率は、人間の読書行動のシミュレートに成功している。 命令調整型大規模言語モデル (LLM) は, 同等の難易度を持つベースLLMよりも, 人間の読影行動に対する心理測定予測力 (PPP) が劣ることを示す。
• 参考スコア（独自算出の注目度）: 36.31945177731897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Next-word probabilities from language models have been shown to successfully simulate human reading behavior. Building on this, we show that, interestingly, instruction-tuned large language models (LLMs) yield worse psychometric predictive power (PPP) for human reading behavior than base LLMs with equivalent perplexities. In other words, instruction tuning, which helps LLMs provide human-preferred responses, does not always make them human-like from the computational psycholinguistics perspective. In addition, we explore prompting methodologies in simulating human reading behavior with LLMs, showing that prompts reflecting a particular linguistic hypothesis lead LLMs to exhibit better PPP but are still worse than base LLMs. These highlight that recent instruction tuning and prompting do not offer better estimates than direct probability measurements from base LLMs in cognitive modeling.
• Abstract（参考訳）: 言語モデルからの次の単語確率は、人間の読書行動のシミュレートに成功している。 これに基づいて, 命令調整型大規模言語モデル (LLM) が, 同等の難易度を持つベースLLMよりも, 人間の読影行動に対する心理的予測力 (PPP) を低下させることを示す。 言い換えれば、LLMが人間に好まれる応答を提供するのに役立つ命令チューニングは、計算心理学の観点から常に人間に似たものとは限らない。 さらに, LLMを用いた読解行動のシミュレーション手法について検討し, 特定の言語仮説を反映するプロンプトが優れたPPPを示すが, ベースLLMよりも悪いことを示す。 これらの結果は、最近の命令のチューニングとプロンプトが認知モデリングにおけるベースllmからの直接的確率測定よりも優れた推定を提供していないことを強調する。

関連論文リスト

• Cognitive phantoms in LLMs through the lens of latent variables [0.3441021278275805]
  大規模言語モデル(LLM)はますます現実のアプリケーションに到達し、それらの振る舞いをよりよく理解する必要がある。 近年のLCMに対する心理測定調査では、LLMの人間らしい特徴が報告されており、潜在的に影響する可能性がある。 このアプローチは有効性の問題に悩まされており、これらの特性がLLMに存在し、人間用に設計されたツールで測定可能であることを前提としている。 本研究では,人間と3人のLDMの潜在的性格構造を2つの評価されたパーソナリティアンケートを用いて比較することにより,この問題を考察する。
  論文  参考訳（メタデータ） (2024-09-06T12:42:35Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Tailoring Personality Traits in Large Language Models via Unsupervisedly-Built Personalized Lexicons [42.66142331217763]
  人格は人間の表現パターンを形成する上で重要な役割を果たしている。 従来の手法は、特定のコーパス上の細調整された大規模言語モデル(LLM)に依存していた。 我々は,人格特性を操作するために,Unsupervisedly-Built Personal lexicon (UBPL) をプラガブルな方法で採用した。
  論文  参考訳（メタデータ） (2023-10-25T12:16:33Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。