論文の概要: All four leading LLMs talk more than they listen to personality-verified synthetic help-seekers
- arxiv url: http://arxiv.org/abs/2608.22425v1
- Date: Sun, 23 Aug 2026 13:58:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.766058
- Title: All four leading LLMs talk more than they listen to personality-verified synthetic help-seekers
- Title(参考訳): 4つのLLMは、パーソナライズされた合成ヘルプを聴くよりも多く話す
- Abstract要約: 広く使われている4つのモデルは、いくつかの総合的なヘルプシーカーに、それぞれに精神医学的に特定されたプロファイルを急性の危機でアドバイスした。
4つのモデルは、感情の安定と失敗を区別できず、冗長性、会話対リスト比が1以上の3つのモード、状況が調査される前の問題解決の3つのモードを共有した。
- 参考スコア(独自算出の注目度): 2.5261465733373965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly consulted at moments of distress, yet single-turn benchmarks neither test sustained exchanges nor distinguish between users. We built a personality-aware evaluation in which four widely used models advised several synthetic help-seekers, each given a psychometrically specified profile, in an acute crisis: a caregiver learning of a relative's dementia diagnosis. Auditors blind to the profile prompt recovered the specified bands from dialogue alone with high agreement on every instrument (ICC(2,4) = 0.91; 0.79-0.96 by instrument; band-score r = 0.78), as expected for the Big Five but equally for coping style, coping self-efficacy, resilience and reactance, which the lexical approach never covered. Such evaluation therefore reaches beyond the Five Factor Model to motivational, regulatory and self-appraisal dispositions. The four models were not distinguishable on emotion stabilisation and failed alike, sharing three modes: verbosity, a talk-to-listen ratio above one, and problem-solving before the situation had been explored.
- Abstract(参考訳): 大きな言語モデルは苦難の瞬間にますます相談されるが、シングルターンベンチマークは持続的な交換をテストしたり、ユーザを区別したりしない。
そこで我々は,4つのモデルを用いて,近親者の認知症診断の介護者学習という,精神医学的に特定されたプロファイルを与えられた複数の総合的ヘルプシーカーに助言した個性意識評価を行った。
プロファイルのプロンプトに盲目な観客は、ビッグファイブの予想通り、すべての楽器(ICC(2,4) = 0.91; 0.79-0.96)の高調波で対話からのみ特定バンドを回収した(バンドスコア r = 0.78)。
このような評価は5因子モデルを超えて、モチベーション、規制、自己評価に到達している。
4つのモデルは感情の安定を区別できず、同様に失敗し、3つのモードを共有した。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳(メタデータ) (2026-09-10T08:34:56Z) - Best Friends, Not Forever: Evaluating Long-Horizon Persona Collapse and Behavioral Drift in AI Companions [34.277389276831435]
本研究では,2つの長期的障害について検討する。「人的崩壊」,展開された役割の喪失,境界,値,スタイル,および「行動漂流」である。
本稿では,人的行為とトラジェクティブリコールを別々に計測する制御型総合監査システムANCHORを紹介する。
この研究には、27人のペルソナにまたがる2,008の会話、9つのインタラクションスケジュール、3つの生成されたメモリ設定、そして4つの評価モデルが含まれている。
論文 参考訳(メタデータ) (2026-07-30T20:18:39Z) - CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models [3.991518853474585]
我々は,認知タスクが保証次元ラベルをいつ得点するかを決定するためのベンチマークであるCogArenaを紹介する。
55のオープンウェイトモデル全体において、ほぼすべてのパラダイム相関は正であり、共通の軸が約半分の分散を説明する。
グループ内のアドバンテージは小さく、スコアリングに敏感で、モデルファミリ全体にわたって不確実である。
論文 参考訳(メタデータ) (2026-07-27T18:56:13Z) - IMCBench: A benchmark for multimodal LLMs in Image-grounded Medical Conversations [5.460897030541662]
IMCBenchは,医用画像と医用画像の合成とを併用した画像グラウンド・マルチターン医療会話ベンチマークである。
各会話は、安全性、正確性、診断における不確実性の使用の3つの臨床的側面で評価される。
以上の結果から,Claude Opus 4.6が最も高いスコア(3.61),Claude Sonnet 4.6(3.30),GPT-5.2(3.29)が得られた。
論文 参考訳(メタデータ) (2026-06-26T19:18:16Z) - Simulating Eating Disorder Patients with LLMs: Evaluating Psychological Persona Stability in Multi-Turn Conversations [17.241602664676158]
臨床患者の言語モデル(LLM)に基づくシミュレーションは、研究や訓練にますます利用されている。
本研究は,5件のビグネットに接地した摂食障害ペルソナを用いて,この前提条件を評価する。
LLMはパラドックス的に安定しすぎ、不正確であることがわかった。
論文 参考訳(メタデータ) (2026-05-12T12:11:30Z) - Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models [54.041320081289996]
音声対応大言語モデル(ALLM)における不確実性推定に関する最初の系統的研究について述べる。
予測エントロピー、長さ正規化エントロピー、意味エントロピー、個別意味エントロピー、P(True)を含む5つの代表的な手法をベンチマークする。
まず、意味レベルと検証ベースの手法は、一般的な音声推論ベンチマークにおけるトークンレベルベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2026-04-28T12:56:22Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - Investigating Large Language Models in Inferring Personality Traits from User Conversations [5.705775078773656]
大規模言語モデル(LLM)は、多様なドメインにまたがる目覚ましい人間のような能力を示している。
本研究は, GPT-4o と GPT-4o mini が, ビッグファイブの性格特性を推測し, ユーザの会話から BFI-10 項目のスコアを生成できるかどうかを評価する。
論文 参考訳(メタデータ) (2025-01-13T18:09:58Z) - Who Can Withstand Chat-Audio Attacks? An Evaluation Benchmark for Large Audio-Language Models [60.72029578488467]
アドリラルオーディオ攻撃は、人間と機械の相互作用における大きなオーディオ言語モデル(LALM)の利用の増加に重大な脅威をもたらす。
本稿では,4種類の音声攻撃を含むChat-Audio Attacksベンチマークを紹介する。
Gemini-1.5-Pro, GPT-4oなど, 音声対話機能を有する6つの最先端LALMの評価を行った。
論文 参考訳(メタデータ) (2024-11-22T10:30:48Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳(メタデータ) (2023-08-09T07:51:40Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。