論文の概要: Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales

• arxiv url: http://arxiv.org/abs/2409.19655v1
• Date: Sun, 29 Sep 2024 11:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:07:14.343595
• Title: Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales
• Title（参考訳）: 心理測定尺度を用いた事前学習言語モデルにおける潜時構造の評価と操作
• Authors: Maor Reuben, Ortal Slobodin, Aviad Elyshar, Idan-Chaim Cohen, Orna Braun-Lewensohn, Odeya Cohen, Rami Puzis,
• Abstract要約: 本稿では,標準的な心理アンケートを自然言語推論のプロンプトに再構成する方法を示す。 我々は、88種類の公開モデルを用いて、人間のようなメンタルヘルス関連構造の存在を実証した。
• 参考スコア（独自算出の注目度）: 4.805861461250903
• License:
• Abstract: Human-like personality traits have recently been discovered in large language models, raising the hypothesis that their (known and as yet undiscovered) biases conform with human latent psychological constructs. While large conversational models may be tricked into answering psychometric questionnaires, the latent psychological constructs of thousands of simpler transformers, trained for other tasks, cannot be assessed because appropriate psychometric methods are currently lacking. Here, we show how standard psychological questionnaires can be reformulated into natural language inference prompts, and we provide a code library to support the psychometric assessment of arbitrary models. We demonstrate, using a sample of 88 publicly available models, the existence of human-like mental health-related constructs (including anxiety, depression, and Sense of Coherence) which conform with standard theories in human psychology and show similar correlations and mitigation strategies. The ability to interpret and rectify the performance of language models by using psychological tools can boost the development of more explainable, controllable, and trustworthy models.
• Abstract（参考訳）: 人間のような性格特性は、最近、大きな言語モデルで発見され、その(未知の)バイアスが人間の潜伏した心理的構造に一致するという仮説を提起した。 大きな会話モデルは心理測定のアンケートに答えるのに騙されるかもしれないが、他のタスクのために訓練された何千もの単純なトランスフォーマーの潜在的な心理的構成は、現在適切な心理測定方法が欠如しているため評価できない。 本稿では,標準的な心理アンケートを自然言語推論のプロンプトに再構成する方法を示し,任意のモデルの心理指標評価を支援するためのコードライブラリを提供する。 我々は、88の公開モデルを用いて、人間の心理学における標準的な理論に準拠し、類似の相関関係と緩和戦略を示す、人間に似た精神保健関連構造(不安、抑うつ、一貫性の感覚を含む)の存在を実証する。 心理的ツールを使用して言語モデルのパフォーマンスを解釈し、修正する能力は、より説明可能な、制御可能な、信頼できるモデルの開発を促進することができる。

関連論文リスト

• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
  大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。 得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
  論文  参考訳（メタデータ） (2024-06-09T09:03:11Z)
• PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents [68.50571379012621]
  心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。 心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
  論文  参考訳（メタデータ） (2024-02-19T18:00:30Z)
• Large language models as probes into latent psychology [0.0]
  言語モデルはフレキシブルなシミュレーションツールとして受け入れられるべきである、と私たちは主張する。 モデル自体が人間の心と同一視される、あるいは人為的な形態化されてはならない。
  論文  参考訳（メタデータ） (2024-02-06T23:28:23Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [63.67533153887132]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Using Artificial Populations to Study Psychological Phenomena in Neural Models [0.0]
  言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。 我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。 本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
  論文  参考訳（メタデータ） (2023-08-15T20:47:51Z)
• Predicting Human Psychometric Properties Using Computational Language Models [5.806723407090421]
  トランスフォーマーベース言語モデル(LM)は、自然言語処理(NLP)ベンチマークにおける最先端のパフォーマンスを引き続き達成している。 LMは、これらの項目がヒトの被験者に与えられるとき、テスト項目の心理測定特性を予測するのに利用できるか? 我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。 次に,ヒトの反応とLMの反応を別々に利用して,診断試験における項目の標準的な心理測定特性を計算する。
  論文  参考訳（メタデータ） (2022-05-12T16:40:12Z)
• Towards Automated Psychotherapy via Language Modeling [0.0]
  このモデルは、言語理解のためのコーネル映画対話コーパスと、オープンソース、匿名化、パブリックライセンスの精神療法データセットを組み合わせてトレーニングされた。 このモデルは、人間による検証データに対する標準化された定性ベンチマークで統計的に有意なパフォーマンスを達成した。 モデルは完全に精神療法士の仕事を置き換えることはできませんが、テストセットの大部分で人間の出現する発話を合成する能力は、精神療法のポイント・オブ・ケアでのスティグマのコミュニケーションと緩和への有望なステップとして機能します。
  論文  参考訳（メタデータ） (2021-04-05T01:53:39Z)
• AGENT: A Benchmark for Core Psychological Reasoning [60.35621718321559]
  直観心理学は、観察可能な行動を駆動する隠された精神変数を推論する能力です。 他のエージェントを推論する機械エージェントに対する近年の関心にもかかわらず、そのようなエージェントが人間の推論を駆動するコア心理学の原則を学ぶか保持するかは明らかではない。 本稿では,プロシージャが生成する3dアニメーション,エージェントを4つのシナリオで構成したベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-02-24T14:58:23Z)
• On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior [29.260666424382446]
  我々は、自然言語テキストコーパスにおいて、その次の単語の予測が人間の読書時間をどのように予測するかを、2ダース以上のモデルで検証する。 これらのモデルの特徴が、その心理測定的予測能力や、人間の読書行動を予測する能力をどのように決定するかを評価する。 任意の難易度に対して、ディープトランスフォーマーモデルとn-gramモデルはLSTMや構造的に制御されたニューラルモデルよりも優れた心理測定予測力を示す。
  論文  参考訳（メタデータ） (2020-06-02T19:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。