論文の概要: Naturalistic measure of social norms alignment
- arxiv url: http://arxiv.org/abs/2605.23420v1
- Date: Fri, 22 May 2026 09:29:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.289291
- Title: Naturalistic measure of social norms alignment
- Title(参考訳): 社会規範のアライメントの自然主義的尺度
- Authors: Yevhen Kostiuk, Kenneth Enevoldsen, Peter Bjerregaard Vahlstrup, Márton Kardos, Kristoffer Nielbo,
- Abstract要約: 本稿では,自然主義的,自由形式的設定における社会規範の整合性を測定するための枠組みを提案する。
我々はデンマーク語で3kの非自明な社会ジレンマのデータセットを構築した。
この結果から,提案手法はモデルランキングの整合性を示し,異なるタイプのジレンマ間での一致のばらつきを明らかにした。
- 参考スコア(独自算出の注目度): 2.3227870457549584
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Social norms reflect shared expectations on acceptable behavior. Measuring social norms alignment remains challenging, with existing approaches typically relying on artificial closed-form evaluations such as multiple-choice questionnaires or measuring agreement with predefined statements. In the context of this work, social norms alignment refers to measuring an agreement between solutions with respect to the social problem or dilemma. We propose a framework for measuring social norm alignment in naturalistic, free-form settings through solution matching. The framework enables us to measure alignment between any two dilemma responses e.g., LLMs to a human, LLMs to LLMs, or human to human. We introduce two metrics: stated and explicit agreement accuracy, and construct a dataset of 3k non-trivial social dilemmas in Danish. All dilemmas are assigned reference solutions derived from three panelists, who serve as culturally grounded judges. We evaluate the agreement of several LLMs and human responses in an interaction setup that resembles natural user-model conversations. Our results show that the proposed metrics produce consistent model rankings and reveal variation in agreement across different types of dilemmas, with higher agreement observed for topics such as neighbor conflicts and shared living situations. Overall, our work introduces a dataset and evaluation framework for studying culturally grounded social reasoning in naturalistic open-ended conversations.
- Abstract(参考訳): 社会的規範は許容される行動に対する共通の期待を反映している。
社会的規範のアライメントの測定は依然として困難であり、既存のアプローチは、通常、複数の選択アンケートや事前定義された声明との合意の計測のような、人工的なクローズドフォーム評価に依存している。
この研究の文脈において、社会規範のアライメントは、社会問題やジレンマに関する解決策間の合意を測定することを指す。
本稿では,自然主義的,自由形式的設定における社会規範の整合性を測定するための枠組みを提案する。
このフレームワークにより、人間に対する2つのジレンマ応答、LLMからLLMへのLLM、人間へのLLMのアライメントを測定することができる。
デンマーク語で3kの非自明な社会的ジレンマのデータセットを構築する。
すべてのジレンマは、3人のパネリストから派生した参照ソリューションとして割り当てられ、文化的な根拠のある裁判官として機能する。
我々は、自然なユーザモデル会話に類似したインタラクション設定において、複数のLLMと人間の反応の一致を評価した。
以上の結果から,提案手法は,近隣の紛争や共有生活状況など,様々なジレンマにまたがる一貫性のあるモデルランキングを作成し,一致のばらつきを明らかにした。
本研究は、自然主義的オープンエンド会話における文化的根拠のある社会的推論を研究するためのデータセットと評価フレームワークについて紹介する。
関連論文リスト
- Machine Behavior in Relational Moral Dilemmas: Moral Rightness, Predicted Human Behavior, and Model Decisions [14.29792672073981]
本稿では,Whistleblower's Dilemmaを用いて,犯罪重大度と関係性近さの2つの実験次元を特徴付ける。
本研究は,(1)道徳的正当性(規範的規範),(2)予測的人間の行動(記述的社会的期待),(3)自律的モデル決定の3つの視点を評価する。
論文 参考訳(メタデータ) (2026-04-23T17:14:18Z) - SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。
Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。
本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
論文 参考訳(メタデータ) (2026-03-17T17:58:44Z) - Social Norm Reasoning in Multimodal Language Models: An Evaluation [0.8181983928344693]
MLLM(Multimodal Large Language Models)は、ロボットが標準を識別し、推論するために使用するソフトウェアを開発するための有望な可能性を示す。
本稿では,30のテキスト・ストーリーと30のイメージ・ベース・ストーリーに基づく規範的質問に対する回答能力を評価することで,5つのMLLMの規範的推論能力について検討する。
その結果,MLLMは画像よりもテキストのノルム推論において優れた性能を示した。
論文 参考訳(メタデータ) (2026-03-03T23:48:21Z) - MINDS: A Cross-cultural Dialogue Corpus for Social Norm Classification and Adherence Detection [8.551627762137928]
我々は,Norm-RAGを提案する。Norm-RAGは,マルチターン対話におけるNorm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,Norm-RAG,N orm-RAG,Nor
実験により,ノルムRAGは標準検出と一般化を改善し,文化的適応性と社会的知的対話システムの性能向上を実証した。
論文 参考訳(メタデータ) (2025-11-13T03:33:39Z) - How large language models judge and influence human cooperation [82.07571393247476]
我々は、最先端の言語モデルが協調行動をどのように判断するかを評価する。
我々は、善良な相手との協力を評価する際、顕著な合意を守ります。
モデル間の差異が協調の頻度に大きく影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2025-06-30T09:14:42Z) - Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。
我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。
以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
論文 参考訳(メタデータ) (2025-05-28T01:31:54Z) - Negotiative Alignment: Embracing Disagreement to Achieve Fairer Outcomes -- Insights from Urban Studies [1.3787753513429983]
診断パターンは本例では体系的であった。
グループディスカッションでは、情報のギャップは減ったが、価値の衝突は減った。
意見の不一致を信号として扱い、合計と共に最悪のグループの結果を報告することは、プランナーやAI実践者がトレードオフに遭遇し、少数派の優先事項を維持しながら効率を維持するのに役立つかもしれない。
論文 参考訳(メタデータ) (2025-03-16T18:55:54Z) - EgoNormia: Benchmarking Physical Social Norm Understanding [52.87904722234434]
EGONORMIAは、安全性、プライバシ、プロキシ、丁寧さ、協力性、コーディネーション/プロアクティビティ、コミュニケーション/レポータビリティの7つの標準カテゴリにまたがる。
我々の研究は、現在の最先端のビジョン言語モデル(VLM)は、堅固な標準理解が欠如していることを示し、EGONORMIAでは最大54%、EGONORMIAでは65%と評価された。
論文 参考訳(メタデータ) (2025-02-27T19:54:16Z) - A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。
このサンプリング行動が人間の意思決定と類似していることが示される。
統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Sociocultural Norm Similarities and Differences via Situational
Alignment and Explainable Textual Entailment [31.929550141633218]
本研究では,中国文化とアメリカ文化にまたがる社会規範の発見と比較のための新しいアプローチを提案する。
我々は、中国とアメリカの文化の社会状況に合わせて、3,069の社会的規範の高品質なデータセットを構築します。
モデルが文化全体にわたって社会的規範を推論する能力をテストするために,説明可能な社会的規範の包含という課題を導入する。
論文 参考訳(メタデータ) (2023-05-23T19:43:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。