論文の概要: PapersPlease: A Benchmark for Evaluating Motivational Values of Large Language Models Based on ERG Theory

• arxiv url: http://arxiv.org/abs/2506.21961v1
• Date: Fri, 27 Jun 2025 07:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.113714
• Title: PapersPlease: A Benchmark for Evaluating Motivational Values of Large Language Models Based on ERG Theory
• Title（参考訳）: PapersPlease:ERG理論に基づく大規模言語モデルのモチベーション値評価ベンチマーク
• Authors: Junho Myung, Yeon Su Park, Sunwoo Kim, Shin Yoo, Alice Oh,
• Abstract要約: 大規模言語モデルの意思決定を調査するために設計された,3700のモラルジレンマからなるベンチマークであるPapersPleaseを紹介する。 この設定では,LPMは,人々の短い物語に基づいて入国を承認するか拒否するかを決定する移民検査官として機能する。 6つのLCMを統計的に分析した結果,LSMが暗黙の嗜好を符号化していることが示唆された。
• 参考スコア（独自算出の注目度）: 24.290880164707122
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluating the performance and biases of large language models (LLMs) through role-playing scenarios is becoming increasingly common, as LLMs often exhibit biased behaviors in these contexts. Building on this line of research, we introduce PapersPlease, a benchmark consisting of 3,700 moral dilemmas designed to investigate LLMs' decision-making in prioritizing various levels of human needs. In our setup, LLMs act as immigration inspectors deciding whether to approve or deny entry based on the short narratives of people. These narratives are constructed using the Existence, Relatedness, and Growth (ERG) theory, which categorizes human needs into three hierarchical levels. Our analysis of six LLMs reveals statistically significant patterns in decision-making, suggesting that LLMs encode implicit preferences. Additionally, our evaluation of the impact of incorporating social identities into the narratives shows varying responsiveness based on both motivational needs and identity cues, with some models exhibiting higher denial rates for marginalized identities. All data is publicly available at https://github.com/yeonsuuuu28/papers-please.
• Abstract（参考訳）: ロールプレイングシナリオを通じて,大規模言語モデル(LLM)の性能とバイアスを評価することがますます一般的になりつつある。 この一連の研究に基づいて,LLMの様々なレベルの人的ニーズを優先する意思決定を調査するために,3700の道徳的ジレンマからなるベンチマークであるPapersPleaseを紹介した。 この設定では,LPMは,人々の短い物語に基づいて入国を承認するか拒否するかを決定する移民検査官として機能する。 これらの物語は、人間のニーズを3つの階層的なレベルに分類する、存在、相対性、成長(ERG)理論を用いて構築されている。 6つのLCMを統計的に分析した結果,LSMが暗黙の嗜好を符号化していることが示唆された。 さらに,社会的なアイデンティティを物語に取り入れることによる影響評価は,モチベーション的ニーズとアイデンティティ的手がかりの両方に基づいて異なる応答性を示す。 すべてのデータはhttps://github.com/yeonsuuu28/papers-pleaseで公開されている。

関連論文リスト

• Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences? [5.542420010310746]
  批判的だが、未調査の問題は、LLMが明記した嗜好と明らかにした嗜好との潜在的な相違である。 この研究は正式に定義され、この選好偏差を測定する方法を提案する。 我々の研究は、LDMをサービス、特に人間と直接対話するサービスに統合するために不可欠です。
  論文  参考訳（メタデータ） (2025-05-31T23:38:48Z)
• No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models [0.9620910657090186]
  大規模言語モデル(LLM)は、異なる自然言語理解と生成タスクの性能を高めている。 我々は,中小LLMの集合を用いてベンチマークを統一的に評価する。 バイアス検出タスクをバイアスの異なる側面で行うための5つのプロンプト手法を提案する。 その結果, 選択したLLMは, Phi-3.5Bモデルが最も偏りが少ないため, いずれか一方あるいは他方の偏りに悩まされることが示唆された。
  論文  参考訳（メタデータ） (2025-03-15T03:58:14Z)
• Benchmarking Bias in Large Language Models during Role-Playing [21.28427555283642]
  ロールプレイングにおいて,Large Language Models (LLMs) のバイアスを明らかにするために設計されたフェアネステストフレームワークであるBiasLensを紹介した。 提案手法では,11の属性からなる包括的属性からなる550個のソーシャルロールをLCMを用いて生成し,33,000個のロール固有の質問を生成する。 生成された質問をベンチマークとして、OpenAI、Mistral AI、Meta、Alibaba、DeepSeekがリリースした6つの高度なLCMの広範な評価を行う。 我々のベンチマークでは、LLM全体で72,716の偏りが見られ、個々のモデルは7,754から16,963の偏りが生じる。
  論文  参考訳（メタデータ） (2024-11-01T13:47:00Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Prompt and Prejudice [29.35618753825668]
  本稿では,Large Language Models (LLMs) とVision Language Models (VLMs) におけるファーストネームの使用が与える影響について検討する。 本稿では、倫理的に注釈付けされたテキストシナリオにファーストネームを付加して、モデル出力における人口統計バイアスを明らかにするアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:11:33Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• A Theory of LLM Sampling: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• STEER: Assessing the Economic Rationality of Large Language Models [21.91812661475551]
  LLMを意思決定「エージェント」として使うことへの関心が高まっている LLMエージェントが信頼できるかどうかを決定するには、そのようなエージェントの経済的合理性を評価するための方法論が必要である。
  論文  参考訳（メタデータ） (2024-02-14T20:05:26Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。