論文の概要: Automated scoring of the Ambiguous Intentions Hostility Questionnaire using fine-tuned large language models

• arxiv url: http://arxiv.org/abs/2508.10007v1
• Date: Tue, 05 Aug 2025 21:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:47.997285
• Title: Automated scoring of the Ambiguous Intentions Hostility Questionnaire using fine-tuned large language models
• Title（参考訳）: 微調整大言語モデルを用いたあいまいな意図意識調査の自動評価
• Authors: Y. Lyu, D. Combs, D. Neumann, Y. C. Leong,
• Abstract要約: Ambiguous Intentions Hostility Questionnaire (AIHQ) は、一般的に敵対的帰属バイアスを測定するために使用される。 大規模言語モデルがAIHQのオープンエンドレスポンスのスコアリングを自動化することができるかどうかを評価した。 その結果, モデルによる評価は, 敵意と攻撃的反応の双方に対する人間の評価と一致していた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Hostile attribution bias is the tendency to interpret social interactions as intentionally hostile. The Ambiguous Intentions Hostility Questionnaire (AIHQ) is commonly used to measure hostile attribution bias, and includes open-ended questions where participants describe the perceived intentions behind a negative social situation and how they would respond. While these questions provide insights into the contents of hostile attributions, they require time-intensive scoring by human raters. In this study, we assessed whether large language models can automate the scoring of AIHQ open-ended responses. We used a previously collected dataset in which individuals with traumatic brain injury (TBI) and healthy controls (HC) completed the AIHQ and had their open-ended responses rated by trained human raters. We used half of these responses to fine-tune the two models on human-generated ratings, and tested the fine-tuned models on the remaining half of AIHQ responses. Results showed that model-generated ratings aligned with human ratings for both attributions of hostility and aggression responses, with fine-tuned models showing higher alignment. This alignment was consistent across ambiguous, intentional, and accidental scenario types, and replicated previous findings on group differences in attributions of hostility and aggression responses between TBI and HC groups. The fine-tuned models also generalized well to an independent nonclinical dataset. To support broader adoption, we provide an accessible scoring interface that includes both local and cloud-based options. Together, our findings suggest that large language models can streamline AIHQ scoring in both research and clinical contexts, revealing their potential to facilitate psychological assessments across different populations.
• Abstract（参考訳）: 敵対的帰属バイアスは、社会的相互作用を故意に敵対的であると解釈する傾向がある。 Ambiguous Intentions Hostility Questionnaire(AIHQ)は、敵対的帰属バイアスを測定するために一般的に使われており、参加者が否定的な社会的状況の背後にある認識された意図と、どのように反応するかを説明するオープンエンドな質問を含んでいる。 これらの質問は、敵対的属性の内容に関する洞察を提供するが、それらは人間のラッカーによる時間集約的なスコアを必要とする。 本研究では,大規模言語モデルがAIHQのオープンエンド応答を自動評価できるかどうかを検討した。 我々は、外傷性脳損傷(TBI)と健康管理(HC)の個人がAIHQを完了し、訓練されたヒトアレーナーによって評価されたオープンエンド応答を予め収集したデータセットを使用した。 これらの回答の半分を人為的な評価で2つのモデルを微調整するために使用し、AIHQの残りの半分で微調整されたモデルをテストしました。 その結果, モデル生成評価は, 敵意と攻撃的反応の両方の属性に対する人間の評価と一致し, 微調整モデルでは高いアライメントを示すことがわかった。 このアライメントは, 曖昧, 意図的, 偶発的なシナリオタイプで一致し, TBI群とHC群の攻撃性および攻撃性反応の集団的差異について, 以前の知見を再現した。 微調整されたモデルもまた、独立した非クリニカルデータセットによく一般化された。 より広範な採用をサポートするため、ローカルとクラウドベースのオプションを含む、アクセス可能なスコアリングインターフェースを提供しています。 この結果から,大規模言語モデルにより,研究と臨床の両方の文脈におけるAIHQスコアの合理化が可能であることが示唆された。

関連論文リスト

• More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment [80.04449725137177]
  直接選好最適化(DPO)は、人間のフィードバックによる強化学習の、シンプルで効果的な代替手段として登場した。 我々の研究は、DPOアライメントに関連する、目覚ましい、安全性に特有な現象を明らかにした。 選択されたペアと拒否されたペアに対してのみ自己生成されたレスポンスを使用することで、より強力なモデルからのレスポンスを含む構成を大幅に上回る。
  論文  参考訳（メタデータ） (2025-04-03T00:36:40Z)
• Users Favor LLM-Generated Content -- Until They Know It's AI [0.0]
  本研究では,コンテンツソースが隠蔽されたり開示されたりした場合に,人間のラングモデルと大規模ラングモデルを用いて,一般的な質問に対する応答を個人がどのように評価するかを検討する。 以上の結果から,参加者はAIによる反応を好む傾向が示唆された。 AIの起源が明らかになると、この選好は著しく低下し、評価的判断が応答の発覚の開示に影響されることが示唆される。
  論文  参考訳（メタデータ） (2025-02-23T11:14:02Z)
• ChatGPT vs Social Surveys: Probing Objective and Subjective Silicon Population [7.281887764378982]
  大規模言語モデル(LLM)は、社会調査における人間の反応をシミュレートし、信頼できる予測を生成する可能性を秘めている。 GPTにより生成したシリコン試料の集団パラメータを同定するサンプリング分布を生成するために,繰り返しサンプリングを用いる。 以上の結果から、GPTの人口分布は、性別と平均年齢の点で、2020年の米国人口と一致していることがわかった。 GPTの立位スコアの点推定は極めて矛盾しており、特定のイデオロギーに対する明確な傾きを示していない。
  論文  参考訳（メタデータ） (2024-09-04T10:33:37Z)
• HANS, are you clever? Clever Hans Effect Analysis of Neural Systems [1.6267479602370545]
  大規模言語モデル(It-LLM)は、認知状態、意図、そしてすべての人々の反応を推論する優れた能力を示しており、人間は日々の社会的相互作用を効果的にガイドし理解することができる。 モデル能力の確固たる評価を構築するために、MCQ(Multiple-choice Question)ベンチマークがいくつか提案されている。 しかし、初期の研究は、I-LLMに固有の「順序バイアス」があることを示しており、適切な評価に挑戦している。
  論文  参考訳（メタデータ） (2023-09-21T20:52:18Z)
• Questioning the Survey Responses of Large Language Models [25.14481433176348]
  我々は,米国国勢調査局が確立したアメリカン・コミュニティ・サーベイに基づいて,この方法論を批判的に検討する。 まず、モデルの応答は、例えば"A"という文字でラベル付けされた調査応答に対するバイアスの順序付けとラベル付けによって制御される。 第二に、ランダム化された回答順序付けによってこれらの体系的バイアスを調整するとき、ボード全体のモデルが一様ランダムなアンケート応答に向かう傾向にある。
  論文  参考訳（メタデータ） (2023-06-13T17:48:27Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
  ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。 我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。 我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-15T10:50:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。