論文の概要: Beyond Reactive Safety: Risk-Aware LLM Alignment via Long-Horizon Simulation
- arxiv url: http://arxiv.org/abs/2506.20949v1
- Date: Thu, 26 Jun 2025 02:28:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-27 19:53:09.946965
- Title: Beyond Reactive Safety: Risk-Aware LLM Alignment via Long-Horizon Simulation
- Title（参考訳）: リスクを意識したLLMアライメントの長距離シミュレーション
- Authors: Chenkai Sun, Denghui Zhang, ChengXiang Zhai, Heng Ji,
- Abstract要約: 本稿では,モデル生成によるアドバイスが社会システムを通じてどのように伝播するかを示す概念実証フレームワークを提案する。
また、100の間接的な害シナリオのデータセットを導入し、害のないユーザプロンプトから有害で非有害な結果を予測するモデルの能力をテストする。
- 参考スコア（独自算出の注目度）: 69.63626052852153
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given the growing influence of language model-based agents on high-stakes societal decisions, from public policy to healthcare, ensuring their beneficial impact requires understanding the far-reaching implications of their suggestions. We propose a proof-of-concept framework that projects how model-generated advice could propagate through societal systems on a macroscopic scale over time, enabling more robust alignment. To assess the long-term safety awareness of language models, we also introduce a dataset of 100 indirect harm scenarios, testing models' ability to foresee adverse, non-obvious outcomes from seemingly harmless user prompts. Our approach achieves not only over 20% improvement on the new dataset but also an average win rate exceeding 70% against strong baselines on existing safety benchmarks (AdvBench, SafeRLHF, WildGuardMix), suggesting a promising direction for safer agents.
- Abstract（参考訳）: 言語モデルに基づくエージェントが、公共政策から医療まで、高い評価の社会的決定に影響を及ぼすことを考えると、彼らの有益な影響を確実にするには、彼らの提案の遠い意味を理解する必要がある。
本稿では,モデル生成によるアドバイスが,時間とともに社会システムをマクロスケールで伝播させ,より堅牢なアライメントを実現するための概念実証フレームワークを提案する。
また、言語モデルの長期的安全意識を評価するために、100の間接的害シナリオのデータセットを導入し、害のないユーザプロンプトから有害で非有害な結果を予測する能力をテストする。
提案手法は,既存の安全ベンチマーク(AdvBench, SafeRLHF, WildGuardMix)の基準値に対して70%を超える平均勝利率を達成し,より安全なエージェントへの期待の方向を示す。
関連論文リスト
- Safety Alignment Can Be Not Superficial With Explicit Safety Signals [8.297367440457508]
大規模言語モデル(LLM)の安全性アライメントに関する最近の研究は、既存のアプローチがしばしば表面的に機能することを明らかにしている。
既存のアライメントアプローチでは、アライメントプロセス中にモデルが暗黙的に安全関連推論タスクを学習できると考えられる。
安全関連バイナリ分類タスクを明示的に導入し,その信号を注意と復号化戦略に統合することにより,この曖昧さを解消する。
論文 参考訳（メタデータ） (2025-05-19T20:40:46Z) - Representation Bending for Large Language Model Safety [27.842146980762934]
大きな言語モデル(LLM)は強力なツールとして登場したが、その固有の安全性のリスクは重大な課題を引き起こしている。
本稿では,LLMにおける有害行動の表現を根本的に破壊する新しい手法であるRepBendを紹介する。
RepBendは最先端のパフォーマンスを達成し、Circuit Breaker、RMU、NPOといった従来の手法よりも優れ、攻撃成功率を最大95%削減する。
論文 参考訳（メタデータ） (2025-04-02T09:47:01Z) - LLM-Safety Evaluations Lack Robustness [58.334290876531036]
我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。
本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
論文 参考訳（メタデータ） (2025-03-04T12:55:07Z) - Safe to Serve: Aligning Instruction-Tuned Models for Safety and Helpfulness [0.0]
大規模言語モデル (LLM) は複雑な推論やテキスト生成において顕著な能力を示した。
LLMは、問題のある入力を誘導すると、不安全または偏りの応答を不注意に生成することができる。
本研究は、有用なコンテンツと無害コンテンツの両方を生成する言語モデルを開発する上で、重要な課題に対処する。
論文 参考訳（メタデータ） (2024-11-26T06:52:22Z) - ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳（メタデータ） (2024-04-06T15:01:47Z) - Developing Safe and Responsible Large Language Model : Can We Balance Bias Reduction and Language Understanding in Large Language Models? [2.089112028396727]
本研究では,大規模言語モデルが知識や理解を犠牲にすることなく,安全でバイアスのないアウトプットを生成できるかどうかを考察する。
Safe and Responsible Large Language Model (textbfSR$_textLLM$)を紹介する。
textbfSR$_textLLM$は知識の整合性を保ちながらバイアスを効果的に軽減する。
論文 参考訳（メタデータ） (2024-04-01T18:10:05Z) - On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。
これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。
安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
論文 参考訳（メタデータ） (2024-01-31T17:28:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。