Fugu-MT 論文翻訳(概要): Psychometric Alignment: Capturing Human Knowledge Distributions via Language Models

論文の概要: Psychometric Alignment: Capturing Human Knowledge Distributions via Language Models

arxiv url: http://arxiv.org/abs/2407.15645v1
Date: Mon, 22 Jul 2024 14:02:59 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 14:51:29.706139
Title: Psychometric Alignment: Capturing Human Knowledge Distributions via Language Models
Title（参考訳）: 心理的アライメント:言語モデルによる人間の知識分布の把握
Authors: Joy He-Yueya, Wanjing Anya Ma, Kanishk Gandhi, Benjamin W. Domingue, Emma Brunskill, Noah D. Goodman,
Abstract要約: 言語モデル(LM)は、人口の振る舞いを正確に模倣することで意思決定を導くシナリオにおいて、人間のような反応をシミュレートするためにますます使われる。本研究では,人間の知識分布の程度を計測する指標である「心理学的アライメント」を導入する。人格に基づくプロンプトを用いることでアライメントが向上するが, LMとヒトの集団の間には重大な不一致が生じる。
参考スコア（独自算出の注目度）: 41.324679754114165
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language models (LMs) are increasingly used to simulate human-like responses in scenarios where accurately mimicking a population's behavior can guide decision-making, such as in developing educational materials and designing public policies. The objective of these simulations is for LMs to capture the variations in human responses, rather than merely providing the expected correct answers. Prior work has shown that LMs often generate unrealistically accurate responses, but there are no established metrics to quantify how closely the knowledge distribution of LMs aligns with that of humans. To address this, we introduce "psychometric alignment," a metric that measures the extent to which LMs reflect human knowledge distribution. Assessing this alignment involves collecting responses from both LMs and humans to the same set of test items and using Item Response Theory to analyze the differences in item functioning between the groups. We demonstrate that our metric can capture important variations in populations that traditional metrics, like differences in accuracy, fail to capture. We apply this metric to assess existing LMs for their alignment with human knowledge distributions across three real-world domains. We find significant misalignment between LMs and human populations, though using persona-based prompts can improve alignment. Interestingly, smaller LMs tend to achieve greater psychometric alignment than larger LMs. Further, training LMs on human response data from the target distribution enhances their psychometric alignment on unseen test items, but the effectiveness of such training varies across domains.
Abstract（参考訳）: 言語モデル(LM)は、人口の振る舞いを正確に模倣することで、教育材料の開発や公共政策の設計といった意思決定を導くシナリオにおいて、人間のような反応をシミュレートするために、ますます使われるようになっている。これらのシミュレーションの目的は、単に期待された正しい答えを提供するのではなく、人間の反応の変動を捉えることである。以前の研究では、LMが非現実的な正確な応答を生成することがしばしばあったが、LMの知識分布が人間のそれとどのように一致しているかを定量化するための確立されたメトリクスは存在しない。これを解決するために,人間の知識分布を計測する指標である「心理学的アライメント」を導入する。このアライメントを評価するには、LMと人間の両方からの反応を同じテスト項目集合に収集し、アイテム反応理論を用いてグループ間のアイテム機能の違いを分析する。従来の測定値(精度の違いなど)がキャプチャーに失敗した場合、我々の測定値が重要なばらつきを捉えることができることを示す。実世界の3つの領域にまたがる人間の知識分布との整合性を評価するために,この指標を適用した。人格に基づくプロンプトを用いることでアライメントが向上するが, LMとヒトの集団の間には重大な不一致が生じる。興味深いことに、小さいLMはより大きなLMよりも大きな心理測定アライメントを達成する傾向にある。さらに、目標分布からの人間の反応データに対するトレーニングLMは、見えないテスト項目に対する心理的アライメントを高めるが、そのようなトレーニングの有効性はドメインによって異なる。

関連論文リスト

Benchmarking Distributional Alignment of Large Language Models [43.0198231524816]
言語モデル(LM)は、人々のシミュラクラ(simulacra)として使われることが多いが、特定の人口集団の視点の分布と一致する能力は、いまだに不明である。我々は、政治的価値を超えて拡張されたデータセットを構築し、このタスクのための人間のベースラインを作成し、LMが特定のグループの意見分布とどの程度一致できるかを評価する。本分析により, ALMが人体をシミュレートするかどうか, どのように利用できるか, およびLCMがそのような分布をシミュレートするよりも, より正確に意見分布を記述できるのかが明らかとなった。
論文参考訳（メタデータ） (2024-11-08T08:41:17Z)
Uncovering Factor Level Preferences to Improve Human-Model Alignment [58.50191593880829]
PROFILEは、好みを駆動する特定の要因の影響を明らかにし、定量化するフレームワークである。 ProFILE の因子レベル分析は、人間モデルのアライメントと不適応の背後にある 'なぜ' を説明している。我々は、不整合要因に対処するなど、要因レベルの洞察の活用が、人間の嗜好との整合性をいかに改善するかを実証する。
論文参考訳（メタデータ） (2024-10-09T15:02:34Z)
Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。文脈特性が人間の信頼行動に大きく影響していることが判明した。これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文参考訳（メタデータ） (2024-07-10T18:00:05Z)
HumanRankEval: Automatic Evaluation of LMs as Conversational Assistants [16.932009464531742]
本稿では,HumanRankEvalという新しい自動評価タスクを提案する。大規模で多様で高品質な質問セットで構成されており、それぞれが人間によって書かれたいくつかの回答がある。 HREは人間の判断とよく相関し,特に指導指導後のモデル変化に応答することを示す。
論文参考訳（メタデータ） (2024-05-15T08:47:26Z)
Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-29T22:49:43Z)
Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization [66.4659448305396]
本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
論文参考訳（メタデータ） (2024-02-02T12:59:27Z)
On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
論文参考訳（メタデータ） (2023-12-12T16:17:15Z)
Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
論文参考訳（メタデータ） (2023-05-26T02:34:20Z)
Predicting Human Psychometric Properties Using Computational Language Models [5.806723407090421]
トランスフォーマーベース言語モデル(LM)は、自然言語処理(NLP)ベンチマークにおける最先端のパフォーマンスを引き続き達成している。 LMは、これらの項目がヒトの被験者に与えられるとき、テスト項目の心理測定特性を予測するのに利用できるか? 我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。次に,ヒトの反応とLMの反応を別々に利用して,診断試験における項目の標準的な心理測定特性を計算する。
論文参考訳（メタデータ） (2022-05-12T16:40:12Z)
Can Transformer Language Models Predict Psychometric Properties? [0.0]
トランスフォーマーベースの言語モデル(LM)は、NLPベンチマークタスクにおける最先端のパフォーマンスを向上し続けている。 LMは、被験者にこれらのアイテムが与えられたときに、テスト項目の心理測定特性がどのようなものになるかを予測するのに役立ちますか? 我々は,言語能力の幅広い診断試験において,多数の人やLMからの回答を収集する。
論文参考訳（メタデータ） (2021-06-12T20:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。