論文の概要: Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Personality Infusing
- arxiv url: http://arxiv.org/abs/2512.00390v1
- Date: Sat, 29 Nov 2025 08:37:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.215672
- Title: Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Personality Infusing
- Title(参考訳): 個人性注入による大規模言語モデルに基づく関連判断における閾値プライミング効果の緩和
- Authors: Nuo Chen, Hanpei Fang, Jiqun Liu, Wilson Wei, Tetsuya Sakai, Xiao-Ming Wu,
- Abstract要約: LLMにおけるビッグファイブ・パーソナリティプロファイルが関連ラベルのプライミングにどのように影響するかを検討する。
以上の結果から,ハイオープンネスや低ニューロティシズムなどのプロファイルはプライミング感受性を一貫して低下させることが明らかとなった。
霊長類を緩和する最も効果的な性格は、モデルやタスクタイプによって異なる可能性がある。
- 参考スコア(独自算出の注目度): 25.77984485421331
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent research has explored LLMs as scalable tools for relevance labeling, but studies indicate they are susceptible to priming effects, where prior relevance judgments influence later ones. Although psychological theories link personality traits to such biases, it is unclear whether simulated personalities in LLMs exhibit similar effects. We investigate how Big Five personality profiles in LLMs influence priming in relevance labeling, using multiple LLMs on TREC 2021 and 2022 Deep Learning Track datasets. Our results show that certain profiles, such as High Openness and Low Neuroticism, consistently reduce priming susceptibility. Additionally, the most effective personality in mitigating priming may vary across models and task types. Based on these findings, we propose personality prompting as a method to mitigate threshold priming, connecting psychological evidence with LLM-based evaluation practices.
- Abstract(参考訳): 近年の研究では、LLMを関連ラベル作成のスケーラブルなツールとして検討しているが、先述の関連判断が後続に影響を及ぼすプライミング効果の影響を受けやすいことが研究で示されている。
心理学的理論は性格特性とそのようなバイアスを結びつけるが、LLMのシミュレーションされた個性が同様の効果を示すかどうかは不明である。
TREC 2021 と 2022 の深層学習トラックデータセットにおける複数の LLM を用いて,LLM におけるBig Five の人格プロファイルが関連ラベルのプライミングにどのように影響するかを検討する。
以上の結果から,ハイオープンネスや低ニューロティシズムなどのプロファイルはプライミング感受性を一貫して低下させることが明らかとなった。
さらに、プライミングを緩和する最も効果的な性格は、モデルやタスクタイプによって異なる可能性がある。
これらの知見に基づき, しきい値プライミングを緩和する手法としてパーソナライズプロンプトプロンプトを提案し, 心理的エビデンスとLCMに基づく評価実践を結びつける。
関連論文リスト
- Evaluating the Simulation of Human Personality-Driven Susceptibility to Misinformation with LLMs [0.18416014644193066]
大規模言語モデル(LLM)により、大規模に合成行動データを生成することができる。
我々は,誤情報に対する個人的影響の変動を再現するために,Big-Fiveプロファイルに規定されたLLMエージェントの能力を評価する。
論文 参考訳(メタデータ) (2025-06-30T08:16:07Z) - Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。
LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
論文 参考訳(メタデータ) (2024-10-16T07:47:45Z) - AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment [37.985947029716016]
大規模言語モデル(LLM)は高度な理解能力を示しているが、トレーニングデータから人間のバイアスを継承する可能性がある。
関連判定におけるしきい値プライミング効果の影響について検討した。
論文 参考訳(メタデータ) (2024-09-24T12:23:15Z) - Do LLMs Have Distinct and Consistent Personality? TRAIT: Personality Testset designed for LLMs with Psychometrics [29.325576963215163]
大規模言語モデル(LLM)は会話エージェントとして様々な領域に適応している。
LLMのパーソナリティを評価するために設計された8Kのマルチチョイス質問からなる新しいベンチマークTRAITを紹介する。
LLMは独特で一貫した性格を示し、トレーニングデータの影響を強く受けている。
論文 参考訳(メタデータ) (2024-06-20T19:50:56Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳(メタデータ) (2024-03-12T12:10:18Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - UPLex: Fine-Grained Personality Control in Large Language Models via Unsupervised Lexical Modulation [52.043831554626685]
パーソナリティは人間のコミュニケーションパターンを形作る重要な要素であり、それによって大きな言語モデル(LLM)のパーソナリティを調節する。
LLMの性格特性を操作するために,Unsupervisedly-Built Personalal lexicon (UPL) を用いた UPLex を提案する。
UPLexは、教師なしの方法で新たに構築された状況判断テストデータセットから構築することができ、LLMの性格表現を変調するために使用される。
論文 参考訳(メタデータ) (2023-10-25T12:16:33Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。