Fugu-MT 論文翻訳(概要): Language Models Show Stable Value Orientations Across Diverse Role-Plays

論文の概要: Language Models Show Stable Value Orientations Across Diverse Role-Plays

arxiv url: http://arxiv.org/abs/2408.09049v1
Date: Fri, 16 Aug 2024 23:24:10 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 22:56:40.578499
Title: Language Models Show Stable Value Orientations Across Diverse Role-Plays
Title（参考訳）: 言語モデルによるロールプレイ間の安定な値オリエンテーション
Authors: Bruce W. Lee, Yeongheon Lee, Hyunsoo Cho,
Abstract要約: 多様なペルソナを取り入れつつも,大きな言語モデル(LLM)が一貫した価値指向を示すことを示す。ランダムで多様なペルソナを持つLLMを促進させるロールプレイ・アット・スケール手法を提案する。このアプローチは、様々なロールプレイシナリオにまたがるLLM応答における一貫したパターンを明らかにし、固有の傾向を深くエンコードしていることを示す。
参考スコア（独自算出の注目度）: 4.906478894661688
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We demonstrate that large language models (LLMs) exhibit consistent value orientations despite adopting diverse personas, revealing a persistent inertia in their responses that remains stable across the variety of roles they are prompted to assume. To systematically explore this phenomenon, we introduce the role-play-at-scale methodology, which involves prompting LLMs with randomized, diverse personas and analyzing the macroscopic trend of their responses. Unlike previous works that simply feed these questions to LLMs as if testing human subjects, our role-play-at-scale methodology diagnoses inherent tendencies in a systematic and scalable manner by: (1) prompting the model to act in different random personas and (2) asking the same question multiple times for each random persona. This approach reveals consistent patterns in LLM responses across diverse role-play scenarios, indicating deeply encoded inherent tendencies. Our findings contribute to the discourse on value alignment in foundation models and demonstrate the efficacy of role-play-at-scale as a diagnostic tool for uncovering encoded biases in LLMs.
Abstract（参考訳）: 大規模言語モデル(LLM)は,多種多様なペルソナを取り入れつつ一貫した価値指向を示し,その応答の持続的慣性を明らかにする。この現象をシステマティックに探求するために、ランダム化された多様なペルソナを持つLLMを誘導し、その応答のマクロ的傾向を分析するロールプレイ・アット・スケールの方法論を導入する。我々のロールプレイ・アット・スケールの方法論は,(1) モデルに異なるランダムなペルソナで行動するよう促すこと,(2) ランダムなペルソナ毎に同じ質問を複数回行うことによる,体系的かつスケーラブルな方法で本質的な傾向を診断する。このアプローチは、様々なロールプレイシナリオにまたがるLLM応答における一貫したパターンを明らかにし、固有の傾向を深くエンコードしていることを示す。本研究は,基礎モデルにおける価値アライメントの議論に寄与し,LLMの符号化バイアスを明らかにするための診断ツールとしてのロールプレイ・アット・スケールの有効性を示す。

関連論文リスト

Benchmarking Bias in Large Language Models during Role-Playing [21.28427555283642]
ロールプレイングにおいて,Large Language Models (LLMs) のバイアスを明らかにするために設計されたフェアネステストフレームワークであるBiasLensを紹介した。提案手法では,11の属性からなる包括的属性からなる550個のソーシャルロールをLCMを用いて生成し,33,000個のロール固有の質問を生成する。生成された質問をベンチマークとして、OpenAI、Mistral AI、Meta、Alibaba、DeepSeekがリリースした6つの高度なLCMの広範な評価を行う。我々のベンチマークでは、LLM全体で72,716の偏りが見られ、個々のモデルは7,754から16,963の偏りが生じる。
論文参考訳（メタデータ） (2024-11-01T13:47:00Z)
Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
論文参考訳（メタデータ） (2024-11-01T01:51:31Z)
Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文参考訳（メタデータ） (2024-10-18T08:14:10Z)
Bias and Toxicity in Role-Play Reasoning [6.868242720276291]
LLM(Large Language Model)におけるロールプレイ(Role-play)は、モデルが特定の視点を採用することを可能にする重要なテクニックである。ロールプレイは潜在的なリスクももたらします。
論文参考訳（メタデータ） (2024-09-21T02:09:13Z)
Thinking Before Speaking: A Role-playing Model with Mindset [0.6428333375712125]
大規模言語モデル(LLM)は人間の振る舞いをシミュレートする能力を持っている。これらのモデルは、想定される役割が持たないという知識に直面すると、パフォーマンスが悪くなります。本稿では,TBS(Thinking Before Talk)モデルを提案する。
論文参考訳（メタデータ） (2024-09-14T02:41:48Z)
Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
論文参考訳（メタデータ） (2024-08-13T02:08:32Z)
PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文参考訳（メタデータ） (2024-07-17T08:13:22Z)
Interpreting Bias in Large Language Models: A Feature-Based Approach [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを示した。本稿では, 特徴量に基づく新しい解析手法により, LLM内のバイアスの伝播について検討する。
論文参考訳（メタデータ） (2024-06-18T07:28:15Z)
Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-29T22:49:43Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文参考訳（メタデータ） (2024-02-16T18:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。