論文の概要: Examining the Role of Relationship Alignment in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.01708v1
• Date: Wed, 2 Oct 2024 16:16:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 15:53:34.133664
• Title: Examining the Role of Relationship Alignment in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける関係アライメントの役割の検討
• Authors: Kristen M. Altenburger, Hongda Jiang, Robert E. Kraut, Yi-Chia Wang, Jane Dwivedi-Yu,
• Abstract要約: 本研究は、コメント者とポスターの性別、年齢、友情の近さの異なる組み合わせで意味音を予測できるLlama 3.0(70B)の能力を評価する。 その結果, 社会的関係情報を含めることで, 人間のコメントの意味的トーンを予測するモデルの有効性が向上することがわかった。 パートIIの結果は,社会文脈情報をインプロンプトに含まない場合でも,LLM生成コメントや人的コメントは社会的文脈に等しく敏感であることを示している。
• 参考スコア（独自算出の注目度）: 16.005988222702996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development and deployment of Generative AI in social settings raise important questions about how to optimally personalize them for users while maintaining accuracy and realism. Based on a Facebook public post-comment dataset, this study evaluates the ability of Llama 3.0 (70B) to predict the semantic tones across different combinations of a commenter's and poster's gender, age, and friendship closeness and to replicate these differences in LLM-generated comments. The study consists of two parts: Part I assesses differences in semantic tones across social relationship categories, and Part II examines the similarity between comments generated by Llama 3.0 (70B) and human comments from Part I given public Facebook posts as input. Part I results show that including social relationship information improves the ability of a model to predict the semantic tone of human comments. However, Part II results show that even without including social context information in the prompt, LLM-generated comments and human comments are equally sensitive to social context, suggesting that LLMs can comprehend semantics from the original post alone. When we include all social relationship information in the prompt, the similarity between human comments and LLM-generated comments decreases. This inconsistency may occur because LLMs did not include social context information as part of their training data. Together these results demonstrate the ability of LLMs to comprehend semantics from the original post and respond similarly to human comments, but also highlights their limitations in generalizing personalized comments through prompting alone.
• Abstract（参考訳）: ソーシャル環境におけるジェネレーティブAIの迅速な開発と展開は、正確さとリアリズムを維持しながら、ユーザに最適なパーソナライズ方法に関する重要な疑問を提起する。 この研究は、Facebookの公開ポストコメンデーションデータセットに基づいて、コメント者とポスターの性別、年齢、友情の近さの異なる組み合わせのセマンティックトーンを予測し、LLM生成コメントでこれらの違いを再現するLlama 3.0(70B)の能力を評価する。 研究は2つの部分から構成される: 第1部は、社会的関係カテゴリー間での意味音の違いを評価し、第2部は、Llama 3.0 (70B) によって生成されたコメントと、第1部からの人間のコメントが、パブリックなFacebook投稿をインプットとして与えたコメントの類似性を調べる。 その結果, 社会的関係情報を含めることで, 人間のコメントの意味的トーンを予測するモデルの有効性が向上することがわかった。 しかし, パートIIの結果から, LLMが生成したコメントと人的コメントは社会的文脈に等しく敏感であり, LLMが本来の投稿のみから意味を理解できることが示唆された。 すべてのソーシャル関係情報をプロンプトに含めると、人間のコメントとLLM生成コメントの類似性が減少する。 LLMはトレーニングデータの一部として社会的文脈情報を含まないため、この矛盾が発生する可能性がある。 これらの結果は、LLMがオリジナルの投稿のセマンティクスを理解でき、人間のコメントと同じような反応をすることができるだけでなく、パーソナライズされたコメントを1人で一般化する際の制限も強調している。

関連論文リスト

• Comparing zero-shot self-explanations with human rationales in multilingual text classification [5.32539007352208]
  命令調整 LLM は計算や複雑な XAI 法の適用を必要としない自己説明を生成する。 入力論理の形で自己説明を評価することによって、この能力が良い説明をもたらすかどうかを解析する。 以上の結果から,自己説明はLRPよりも人間のアノテーションと密接に一致し,忠実度は同等であることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T10:14:12Z)
• Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments [14.143299702954023]
  本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。 我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
  論文  参考訳（メタデータ） (2024-08-08T08:13:25Z)
• Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
  インタラクションの文脈的特徴が依存に与える影響について検討する。 文脈特性が人間の信頼行動に大きく影響していることが判明した。 これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:00:05Z)
• Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis [23.329280888159744]
  大規模言語モデル(LLM)は、訓練データに偏見を反映し、社会的ステレオタイプや不平等を補強する社会バイアスを持続させる。 本稿では,これらのモデルにプロンプトに対する非バイアス応答を付与する独自のデバイアス処理手法であるSocial Contact Debiasing(SCD)を提案する。 我々の研究は、LLM応答が接触探究の際の社会的バイアスを示すことを示したが、より重要なことは、これらのバイアスは、SCD戦略に従ってLLaMA 2を指導する1つの時代において、最大40%減少させることができることである。
  論文  参考訳（メタデータ） (2024-07-02T07:58:46Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models [11.132360309354782]
  社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。 本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T13:32:09Z)
• Do LLM Agents Exhibit Social Behavior? [5.094340963261968]
  State-Understanding-Value-Action (SUVA) は、社会的文脈における応答を体系的に分析するフレームワークである。 最終決定とそれにつながる反応生成プロセスの両方を通じて社会的行動を評価する。 発話に基づく推論がLLMの最終動作を確実に予測できることを実証する。
  論文  参考訳（メタデータ） (2023-12-23T08:46:53Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。