論文の概要: SocialGaze: Improving the Integration of Human Social Norms in Large Language Models
- arxiv url: http://arxiv.org/abs/2410.08698v1
- Date: Fri, 11 Oct 2024 10:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:33:58.220823
- Title: SocialGaze: Improving the Integration of Human Social Norms in Large Language Models
- Title(参考訳): SocialGaze: 大規模言語モデルにおける人間の社会的ノルムの統合の改善
- Authors: Anvesh Rao Vijjini, Rakesh R. Menon, Jiayi Fu, Shashank Srivastava, Snigdha Chaturvedi,
- Abstract要約: 社会的受容を判断する作業を紹介する。
社会的受容は、社会的状況における人々の行動の受容性を判断し、合理化するモデルを必要とする。
大規模言語モデルによる社会的受容に対する理解は、しばしば人間の合意と不一致である。
- 参考スコア(独自算出の注目度): 28.88929472131529
- License:
- Abstract: While much research has explored enhancing the reasoning capabilities of large language models (LLMs) in the last few years, there is a gap in understanding the alignment of these models with social values and norms. We introduce the task of judging social acceptance. Social acceptance requires models to judge and rationalize the acceptability of people's actions in social situations. For example, is it socially acceptable for a neighbor to ask others in the community to keep their pets indoors at night? We find that LLMs' understanding of social acceptance is often misaligned with human consensus. To alleviate this, we introduce SocialGaze, a multi-step prompting framework, in which a language model verbalizes a social situation from multiple perspectives before forming a judgment. Our experiments demonstrate that the SocialGaze approach improves the alignment with human judgments by up to 11 F1 points with the GPT-3.5 model. We also identify biases and correlations in LLMs in assigning blame that is related to features such as the gender (males are significantly more likely to be judged unfairly) and age (LLMs are more aligned with humans for older narrators).
- Abstract(参考訳): 近年,大規模言語モデル(LLM)の推論能力の向上について多くの研究が行われてきたが,これらのモデルと社会的価値や規範との整合性を理解するにはギャップがある。
社会的受容を判断する作業を紹介する。
社会的受容は、社会的状況における人々の行動の受容性を判断し、合理化するモデルを必要とする。
例えば、近所の人が、夜にペットを屋内で飼うようにコミュニティの他の人に頼むことは、社会的に受け入れられるのだろうか?
LLMの社会的受容に対する理解は、しばしば人間のコンセンサスと不一致である。
これを軽減するために,複数段階のプロンプトフレームワークであるSocialGazeを導入する。
実験の結果,SocialGaze アプローチは GPT-3.5 モデルで最大11F1 点までヒトの判断との整合性を向上することが示された。
また,性別(男性の方が不公平に判断される可能性が有意に高い)や年齢(LLMは年長のナレーターに対して人間とより一致している)といった特徴に関係した非難を割り当てる際のLLMのバイアスや相関も同定した。
関連論文リスト
- Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis [23.329280888159744]
大規模言語モデル(LLM)は、訓練データに偏見を反映し、社会的ステレオタイプや不平等を補強する社会バイアスを持続させる。
本稿では,これらのモデルにプロンプトに対する非バイアス応答を付与する独自のデバイアス処理手法であるSocial Contact Debiasing(SCD)を提案する。
我々の研究は、LLM応答が接触探究の際の社会的バイアスを示すことを示したが、より重要なことは、これらのバイアスは、SCD戦略に従ってLLaMA 2を指導する1つの時代において、最大40%減少させることができることである。
論文 参考訳(メタデータ) (2024-07-02T07:58:46Z) - SS-GEN: A Social Story Generation Framework with Large Language Models [87.11067593512716]
自閉症スペクトラム障害(ASD)を持つ子供たちは、しばしば社会的状況を誤解し、日々のルーチンに参加するのに苦労する。
社会物語は伝統的にこれらの課題に対処するために厳格な制約の下で心理学の専門家によって作られた。
幅広い範囲でリアルタイムでソーシャルストーリーを生成するフレームワークである textbfSS-GEN を提案する。
論文 参考訳(メタデータ) (2024-06-22T00:14:48Z) - From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition [59.57095498284501]
我々は,textbfContextual textbfSocial textbfRelationships (textbfConSoR) を社会的認知の観点から認識する新しいアプローチを提案する。
画像ごとの社会的関係を考慮した社会認識記述言語プロンプトを構築した。
印象的なことに、ConSoRは従来の手法を上回り、Person-in-Social-Context(PISC)データセットでは12.2%、Person-in-Photo-Album(PIPA)ベンチマークでは9.8%向上している。
論文 参考訳(メタデータ) (2024-06-12T16:02:28Z) - Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models [11.132360309354782]
社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。
本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
論文 参考訳(メタデータ) (2024-06-06T13:32:09Z) - The Call for Socially Aware Language Technologies [94.6762219597438]
NLPが機能する社会環境の要因、文脈、意味の認識の欠如である。
我々は、NLPが社会意識を発達させる上で大きな課題が残っており、この分野の新しい時代の始まりであると主張している。
論文 参考訳(メタデータ) (2024-05-03T18:12:39Z) - Academically intelligent LLMs are not necessarily socially intelligent [56.452845189961444]
大規模言語モデル(LLM)の学術的インテリジェンス(英語版)は近年顕著な進歩を遂げているが、その社会的インテリジェンスのパフォーマンスは未だ不明である。
人間の社会知能フレームワークの確立に触発されて,現実の社会的シナリオに基づいた標準化された社会知能テストを開発した。
論文 参考訳(メタデータ) (2024-03-11T10:35:53Z) - Generative Language Models Exhibit Social Identity Biases [17.307292780517653]
56大言語モデルにおいて,内集団の連帯性と外集団の敵意,基本的社会的アイデンティティバイアスが存在するか否かを検討する。
ほぼすべての基礎言語モデルといくつかの命令微調整モデルは、文の完全化を促すと、明らかな非群陽性および非群陰性な関連を示す。
現代の言語モデルは,人間と同等の社会的アイデンティティバイアスを示すことが示唆された。
論文 参考訳(メタデータ) (2023-10-24T13:17:40Z) - Training Socially Aligned Language Models on Simulated Social
Interactions [99.39979111807388]
AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。
現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。
本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-05-26T14:17:36Z) - Social Practices: a Complete Formalization [1.370633147306388]
本稿では,社会実践概念に基づくエージェントのための社会枠組みの定式化について述べる。
社会的実践は、標準的な社会的相互作用におけるエージェントの実践的推論を促進する。
彼らはまた、社会的計画と熟考のためのハンドルを提供する社会的文脈も持っている。
論文 参考訳(メタデータ) (2022-05-22T09:58:42Z) - Social Chemistry 101: Learning to Reason about Social and Moral Norms [73.23298385380636]
我々は、人々の日常的な社会的規範と道徳的判断を研究するための新しい概念的形式主義である社会化学を提示する。
Social-Chem-101は大規模なコーパスで292Kのルールをカタログ化している。
モデルフレームワークであるNeural Norm Transformerは、Social-Chem-101を学習し、一般化し、これまで見つからなかった状況の推論に成功した。
論文 参考訳(メタデータ) (2020-11-01T20:16:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。