論文の概要: Bias and Toxicity in Role-Play Reasoning

• arxiv url: http://arxiv.org/abs/2409.13979v1
• Date: Sat, 21 Sep 2024 02:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 04:17:38.614779
• Title: Bias and Toxicity in Role-Play Reasoning
• Title（参考訳）: ロールプレイ推論におけるバイアスと毒性
• Authors: Jinman Zhao, Zifan Qian, Linbo Cao, Yining Wang, Yitian Ding,
• Abstract要約: LLM(Large Language Model)におけるロールプレイ(Role-play)は、モデルが特定の視点を採用することを可能にする重要なテクニックである。 ロールプレイは潜在的なリスクももたらします。
• 参考スコア（独自算出の注目度）: 6.868242720276291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Role-play in the Large Language Model (LLM) is a crucial technique that enables models to adopt specific perspectives, enhancing their ability to generate contextually relevant and accurate responses. By simulating different roles, theis approach improves reasoning capabilities across various NLP benchmarks, making the model's output more aligned with diverse scenarios. However, in this work, we demonstrate that role-play also carries potential risks. We systematically evaluate the impact of role-play by asking the language model to adopt different roles and testing it on multiple benchmarks that contain stereotypical and harmful questions. Despite the significant fluctuations in the benchmark results in different experiments, we find that applying role-play often increases the overall likelihood of generating stereotypical and harmful outputs.
• Abstract（参考訳）: LLM(Large Language Model)におけるロールプレイ(Role-play)は、モデルが特定の視点を適用できるようにし、文脈的に関連性があり正確な応答を生成する能力を向上する重要なテクニックである。 さまざまな役割をシミュレートすることで、theisアプローチはさまざまなNLPベンチマークにおける推論能力を改善し、モデルの出力をさまざまなシナリオに適合させる。 しかし、本研究では、ロールプレイが潜在的リスクをもたらすことも示している。 言語モデルに異なる役割を採用するよう依頼し、ステレオタイプおよび有害な質問を含む複数のベンチマークでテストすることで、ロールプレイの影響を体系的に評価する。 ベンチマーク結果の変動は異なるが、ロールプレイを適用することで、ステレオタイプや有害な出力を生成する全体的な可能性を高めることがしばしばある。

関連論文リスト

• Systematic Bias in Large Language Models: Discrepant Response Patterns in Binary vs. Continuous Judgment Tasks [13.704342633541454]
  大規模言語モデル(LLM)は、心理学的テキスト分析や自動システムにおける意思決定といったタスクにおいて、ますます使われるようになっている。 本研究では,二分法と連続法という異なる応答形式がLLMの判断に体系的にどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-04-28T03:20:55Z)
• Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [0.0]
  大規模言語モデル(LLM)は人工知能に革命をもたらし、機械翻訳、要約、会話エージェントの進歩を推進している。 近年の研究では、LSMは偏りのある反応を誘発するために設計された敵攻撃に弱いままである。 本研究は,LLMの逆バイアス誘発に対する堅牢性を評価するためのスケーラブルなベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:00:59Z)
• Reversal Blessing: Thinking Backward May Outpace Thinking Forward in Multi-choice Questions [51.61404787000037]
  言語モデルは、通常左から右へ(L2R)自己回帰因子化を使用する。 いくつかのタスクにおいて,テキスト分布の代替因数分解が有用かどうかを検討する。
  論文  参考訳（メタデータ） (2025-02-25T18:30:25Z)
• Benchmarking Bias in Large Language Models during Role-Playing [21.28427555283642]
  ロールプレイングにおいて,Large Language Models (LLMs) のバイアスを明らかにするために設計されたフェアネステストフレームワークであるBiasLensを紹介した。 提案手法では,11の属性からなる包括的属性からなる550個のソーシャルロールをLCMを用いて生成し,33,000個のロール固有の質問を生成する。 生成された質問をベンチマークとして、OpenAI、Mistral AI、Meta、Alibaba、DeepSeekがリリースした6つの高度なLCMの広範な評価を行う。 我々のベンチマークでは、LLM全体で72,716の偏りが見られ、個々のモデルは7,754から16,963の偏りが生じる。
  論文  参考訳（メタデータ） (2024-11-01T13:47:00Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Language Models Show Stable Value Orientations Across Diverse Role-Plays [4.906478894661688]
  多様なペルソナを取り入れつつも,大きな言語モデル(LLM)が一貫した価値指向を示すことを示す。 ランダムで多様なペルソナを持つLLMを促進させるロールプレイ・アット・スケール手法を提案する。 このアプローチは、様々なロールプレイシナリオにまたがるLLM応答における一貫したパターンを明らかにし、固有の傾向を深くエンコードしていることを示す。
  論文  参考訳（メタデータ） (2024-08-16T23:24:10Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• On the Decision-Making Abilities in Role-Playing using Large Language Models [6.550638804145713]
  大型言語モデル(LLM)はロールプレイングタスクにますます活用されている。 本稿では,LLMのポストロールプレイングにおける意思決定能力の評価に焦点をあてる。
  論文  参考訳（メタデータ） (2024-02-29T02:22:23Z)
• Enhancing Role-playing Systems through Aggressive Queries: Evaluation and Improvement [17.5855800570993]
  大言語モデル(LLM)は、特にロールプレイングシステム(RPS)分野において、対話生成を新しい領域に推進している。 既存のLLMベースのRSSは、境界シナリオで複雑なクエリと閉じ込められたクエリを扱う場合、役割と整合するのに依然として苦労している。 本研究は,MORTISE (Modular Orchestrated Trap-setting Interaction SystEm) を設計し,ロールプレイングLLMの性能向上を図る。
  論文  参考訳（メタデータ） (2024-02-16T12:12:05Z)
• Causal Feature Selection for Responsible Machine Learning [14.082894268627124]
  責任ある機械学習の必要性が生まれ、倫理的および社会的価値にMLモデルを整合させることに焦点が当てられている。 この調査は、解釈可能性、公正性、敵の一般化、ドメインの堅牢性という4つの主要な問題に対処する。
  論文  参考訳（メタデータ） (2024-02-05T03:20:28Z)
• Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment [62.898963074989766]
  本稿では,ロールプレイのための自己アライメント手法であるDittoを紹介する。 この方法は4000文字からなるロールプレイトレーニングセットを生成し、現在利用可能なデータセットのスケールを10倍に超える。 本稿では,ロールプレイ領域におけるクロススーパービジョンアライメント実験について紹介する。
  論文  参考訳（メタデータ） (2024-01-23T03:56:22Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models [107.00832724504752]
  大規模言語モデル(LLM)におけるロールプレイング能力をベンチマークし、評価し、拡張するフレームワークであるRoleLLMを紹介する。 Context-InstructとRoleGPTによって、168,093サンプルでロールプレイする最初の体系的できめ細かい文字レベルのベンチマークデータセットであるRoleBenchを作成します。
  論文  参考訳（メタデータ） (2023-10-01T17:52:59Z)
• Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts [9.399159332152013]
  本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。 これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
  論文  参考訳（メタデータ） (2023-09-29T17:26:03Z)
• Harnessing Perceptual Adversarial Patches for Crowd Counting [92.79051296850405]
  群衆のカウントは、物理的な世界の敵の例に弱い。 本稿では,モデル間での知覚的特徴の共有を学習するためのPAP(Perceptual Adrial Patch)生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-16T13:51:39Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。