論文の概要: When Prompting Fails to Sway: Inertia in Moral and Value Judgments of Large Language Models

• arxiv url: http://arxiv.org/abs/2408.09049v2
• Date: Sat, 05 Apr 2025 23:19:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:07:19.107976
• Title: When Prompting Fails to Sway: Inertia in Moral and Value Judgments of Large Language Models
• Title（参考訳）: Promptingが失敗する時 - 大規模言語モデルのモラルと価値判断における慣性
• Authors: Bruce W. Lee, Yeongheon Lee, Hyunsoo Cho,
• Abstract要約: 大規模言語モデル (LLMs) は非決定論的行動を示し、その出力を所望の方向に向けて操る主要な方法としてプロンプトが登場した。 一般的な戦略の一つは、人間の視点で見られる多様性に似た、より多様で文脈に敏感な反応を誘発するために、特定の「ペルソナ」をモデルに割り当てることである。 我々の実験は、LLMが一貫した値配向を維持することを示した。 特に,特定の道徳的・価値的次元,特に回避と公正さが,さまざまなペルソナ設定にもかかわらず,一方向に明確に歪められたままである,持続的慣性を観察する。
• 参考スコア（独自算出の注目度）: 4.906478894661688
• License:
• Abstract: Large Language Models (LLMs) exhibit non-deterministic behavior, and prompting has emerged as a primary method for steering their outputs toward desired directions. One popular strategy involves assigning a specific "persona" to the model to induce more varied and context-sensitive responses, akin to the diversity found in human perspectives. However, contrary to the expectation that persona-based prompting would yield a wide range of opinions, our experiments demonstrate that LLMs maintain consistent value orientations. In particular, we observe a persistent inertia in their responses, where certain moral and value dimensions, especially harm avoidance and fairness, remain distinctly skewed in one direction despite varied persona settings. To investigate this phenomenon systematically, use role-play at scale, which combines randomized, diverse persona prompts with a macroscopic trend analysis of model outputs. Our findings highlight the strong internal biases and value preferences in LLMs, underscoring the need for careful scrutiny and potential adjustment of these models to ensure balanced and equitable applications.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は非決定論的行動を示し、その出力を所望の方向に向けて操る主要な方法としてプロンプトが登場した。 一般的な戦略の一つは、人間の視点で見られる多様性に似た、より多様で文脈に敏感な反応を誘発するために、特定の「ペルソナ」をモデルに割り当てることである。 しかしながら、ペルソナに基づくプロンプトが幅広い意見をもたらすという期待に反して、我々の実験はLLMが一貫した値配向を維持することを実証した。 特に,特定の道徳的・価値的次元,特に回避と公正さが,さまざまなペルソナ設定にもかかわらず,一方向に明確に歪められたままである,持続的慣性を観察する。 この現象を体系的に研究するために、ランダム化された多様なペルソナプロンプトとモデル出力のマクロ的傾向分析を組み合わせた大規模ロールプレイを使用する。 本研究は, LLMにおける内部バイアスと値優先性を強調し, バランスの取れた適正な適用を確保するために, これらのモデルの慎重な精査と潜在的な調整の必要性を強調した。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Benchmarking Bias in Large Language Models during Role-Playing [21.28427555283642]
  ロールプレイングにおいて,Large Language Models (LLMs) のバイアスを明らかにするために設計されたフェアネステストフレームワークであるBiasLensを紹介した。 提案手法では,11の属性からなる包括的属性からなる550個のソーシャルロールをLCMを用いて生成し,33,000個のロール固有の質問を生成する。 生成された質問をベンチマークとして、OpenAI、Mistral AI、Meta、Alibaba、DeepSeekがリリースした6つの高度なLCMの広範な評価を行う。 我々のベンチマークでは、LLM全体で72,716の偏りが見られ、個々のモデルは7,754から16,963の偏りが生じる。
  論文  参考訳（メタデータ） (2024-11-01T13:47:00Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Exploring the Personality Traits of LLMs through Latent Features Steering [12.142248881876355]
  本研究では, 文化的規範や環境ストレス要因などの要因が, 大規模言語モデル(LLM)内でどのように性格特性を形作るかを検討する。 本研究では,モデル内の要因に対応する潜在特徴を抽出し,ステアリングすることで,モデルの振る舞いを変更する訓練自由アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-07T21:02:34Z)
• Role-Play Paradox in Large Language Models: Reasoning Performance Gains and Ethical Dilemmas [7.677029165197536]
  大型言語モデル(LLM)におけるロールプレイは、文脈的に関連性があり高品質な応答を生成する能力を高める。 本稿では,モデルの役割を自動選択する手法であるオートチューニングが,有害なアウトプットの生成につながることを実証する。
  論文  参考訳（メタデータ） (2024-09-21T02:09:13Z)
• Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
  MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。 しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。 本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Interpreting Bias in Large Language Models: A Feature-Based Approach [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを示した。 本稿では, 特徴量に基づく新しい解析手法により, LLM内のバイアスの伝播について検討する。
  論文  参考訳（メタデータ） (2024-06-18T07:28:15Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。