論文の概要: Beyond Single-Sentence Prompts: Upgrading Value Alignment Benchmarks with Dialogues and Stories

• arxiv url: http://arxiv.org/abs/2503.22115v1
• Date: Fri, 28 Mar 2025 03:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 19:09:59.549435
• Title: Beyond Single-Sentence Prompts: Upgrading Value Alignment Benchmarks with Dialogues and Stories
• Title（参考訳）: 単文プロンプトを超えて - 対話とストーリによる価値アライメントベンチマークのアップグレード
• Authors: Yazhou Zhang, Qimeng Liu, Qiuchi Li, Peng Zhang, Jing Qin,
• Abstract要約: 大規模言語モデル(LLM)の価値アライメントを評価することは、伝統的に単一文の逆のプロンプトに依存してきた。 マルチターン対話と物語に基づくシナリオを組み込むことで,単一文プロンプトを超越した値アライメントベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 14.605576275135522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the value alignment of large language models (LLMs) has traditionally relied on single-sentence adversarial prompts, which directly probe models with ethically sensitive or controversial questions. However, with the rapid advancements in AI safety techniques, models have become increasingly adept at circumventing these straightforward tests, limiting their effectiveness in revealing underlying biases and ethical stances. To address this limitation, we propose an upgraded value alignment benchmark that moves beyond single-sentence prompts by incorporating multi-turn dialogues and narrative-based scenarios. This approach enhances the stealth and adversarial nature of the evaluation, making it more robust against superficial safeguards implemented in modern LLMs. We design and implement a dataset that includes conversational traps and ethically ambiguous storytelling, systematically assessing LLMs' responses in more nuanced and context-rich settings. Experimental results demonstrate that this enhanced methodology can effectively expose latent biases that remain undetected in traditional single-shot evaluations. Our findings highlight the necessity of contextual and dynamic testing for value alignment in LLMs, paving the way for more sophisticated and realistic assessments of AI ethics and safety.
• Abstract（参考訳）: 大規模言語モデル(LLM)の価値アライメントを評価することは、伝統的に、倫理的にセンシティブな質問や議論のある質問でモデルを直接調査する単一文の敵対的プロンプトに依存してきた。 しかし、AIの安全性技術が急速に進歩するにつれて、モデルはこれらの素直なテストを回避し、基礎となるバイアスや倫理的スタンスを明らかにする効果を制限している。 この制限に対処するために,マルチターン対話と物語に基づくシナリオを組み込むことで,単一文のプロンプトを超越した値アライメントベンチマークを提案する。 このアプローチは、評価のステルス性と敵意性を高め、現代のLLMで実装された表面安全ガードに対してより堅牢である。 我々は、会話トラップと倫理的に曖昧なストーリーテリングを含むデータセットを設計、実装し、より微妙で文脈に富んだ設定でLLMの応答を体系的に評価する。 実験により、従来の単発評価では検出されない潜伏バイアスを効果的に露呈できることが示されている。 我々の発見は、LLMにおける価値アライメントのための文脈的および動的テストの必要性を強調し、AI倫理と安全性をより高度かつ現実的に評価するための道を開いた。

関連論文リスト

• Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。 単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。 本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-01T09:36:56Z)
• Temporal Context Awareness: A Defense Framework Against Multi-turn Manipulation Attacks on Large Language Models [0.0]
  大規模言語モデル(LLM)は、高度なマルチターン操作攻撃に対してますます脆弱である。 本稿では,この課題に対処するための新しい防御機構であるテンポラルコンテキスト認識フレームワークを紹介する。 シミュレーションされた敵シナリオに関する予備的な評価は、微妙な操作パターンを識別するフレームワークの可能性を示している。
  論文  参考訳（メタデータ） (2025-03-18T22:30:17Z)
• LLM-Safety Evaluations Lack Robustness [58.334290876531036]
  我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。 本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-03-04T12:55:07Z)
• Adversarial Alignment for LLMs Requires Simpler, Reproducible, and More Measurable Objectives [52.863024096759816]
  相反する研究目的は、過去10年間に敵対的堅牢性研究の進展を妨げてきた。 我々は、対立するアライメントの有意義な進展には、リアライメントの目的が必要であると論じる。
  論文  参考訳（メタデータ） (2025-02-17T15:28:40Z)
• Measuring the Robustness of Reference-Free Dialogue Evaluation Systems [12.332146893333952]
  敵攻撃の4つのカテゴリに対して,参照自由対話メトリクスの堅牢性を評価するためのベンチマークを示す。 DialogRPT、UniEval、PromptEvalなどのメトリクスを、地上および地下のデータセットで分析する。
  論文  参考訳（メタデータ） (2025-01-12T06:41:52Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• SelfPrompt: Autonomously Evaluating LLM Robustness via Domain-Constrained Knowledge Guidelines and Refined Adversarial Prompts [0.6291443816903801]
  本稿では,大規模言語モデル(LLM)のロバスト性を自律的に評価する新しいフレームワークを提案する。 本稿では,ドメイン制約付き知識グラフ三重項から記述文を生成し,敵対的プロンプトを定式化する。 この自己評価機構により、LCMは外部ベンチマークを必要とせずにその堅牢性を評価することができる。
  論文  参考訳（メタデータ） (2024-12-01T10:58:53Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。