論文の概要: Are Smarter LLMs Safer? Exploring Safety-Reasoning Trade-offs in Prompting and Fine-Tuning

• arxiv url: http://arxiv.org/abs/2502.09673v1
• Date: Thu, 13 Feb 2025 06:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:56.437063
• Title: Are Smarter LLMs Safer? Exploring Safety-Reasoning Trade-offs in Prompting and Fine-Tuning
• Title（参考訳）: よりスマートなLDMはより安全か? : プロンプティングとファインチューニングにおける安全推論のトレードオフを探る
• Authors: Ang Li, Yichuan Mo, Mingjie Li, Yifei Wang, Yisen Wang,
• Abstract要約: 大規模言語モデル (LLM) は様々なNLPベンチマークで顕著な成功を収めている。 本研究では,LLMにおける推論と安全性の相互作用について検討する。 推論能力が向上し、これまで見過ごされていた脆弱性に光を当てることによって生じる、潜伏する安全性のリスクを強調します。
• 参考スコア（独自算出の注目度）: 40.55486479495965
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable success across various NLP benchmarks. However, excelling in complex tasks that require nuanced reasoning and precise decision-making demands more than raw language proficiency--LLMs must reason, i.e., think logically, draw from past experiences, and synthesize information to reach conclusions and take action. To enhance reasoning abilities, approaches such as prompting and fine-tuning have been widely explored. While these methods have led to clear improvements in reasoning, their impact on LLM safety remains less understood. In this work, we investigate the interplay between reasoning and safety in LLMs. We highlight the latent safety risks that arise as reasoning capabilities improve, shedding light on previously overlooked vulnerabilities. At the same time, we explore how reasoning itself can be leveraged to enhance safety, uncovering potential mitigation strategies. By examining both the risks and opportunities in reasoning-driven LLM safety, our study provides valuable insights for developing models that are not only more capable but also more trustworthy in real-world deployments.
• Abstract（参考訳）: 大規模言語モデル (LLM) は様々なNLPベンチマークで顕著な成功を収めている。 しかし、未熟な推論と、生の言語の習熟度よりも正確な意思決定要求を必要とする複雑なタスクにおいて、LLMは理性、すなわち、論理的に考え、過去の経験から引き抜き、情報を合成し、結論に達し、行動を起こす必要がある。 推論能力を高めるために、プロンプトや微調整といったアプローチが広く研究されている。 これらの手法は推論の明確な改善につながったが、LLMの安全性への影響はいまだに理解されていない。 本研究では,LLMにおける推論と安全性の相互作用について検討する。 推論能力が向上し、これまで見過ごされていた脆弱性に光を当てることによって生じる、潜伏する安全性のリスクを強調します。 同時に、安全性を高めるために推論自体をどのように活用できるかを探求し、潜在的な緩和戦略を明らかにする。 推論駆動型LLM安全性のリスクと機会の両方を調べることで、我々の研究は、より有能であるだけでなく、現実のデプロイメントにおいてより信頼できるモデルを開発する上で、貴重な洞察を提供する。

関連論文リスト

• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• AI Safety in Generative AI Large Language Models: A Survey [14.737084887928408]
  生成的AI能力を示す大規模言語モデル(LLM)は、採用とイノベーションの加速に直面している。 生成AI(GAI)は、これらのモデルに関連するリスクと安全性に関する懸念を必然的に高める。 本稿では,コンピュータ科学者の視点からAI安全研究の最新の動向について報告する。
  論文  参考訳（メタデータ） (2024-07-06T09:00:18Z)
• Current state of LLM Risks and AI Guardrails [0.0]
  大規模言語モデル(LLM)はますます洗練され、安全性と信頼性が最優先されるセンシティブなアプリケーションに広くデプロイされるようになる。 これらのリスクは、LSMを望ましい行動と整合させ、潜在的な害を軽減するために、"ガードレール"の開発を必要とする。 本研究は,LLMの展開に伴うリスクを調査し,ガードレールの実装とモデルアライメント技術に対する現在のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-06-16T22:04:10Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Securing Large Language Models: Threats, Vulnerabilities and Responsible Practices [4.927763944523323]
  大規模言語モデル(LLM)は、自然言語処理(NLP)のランドスケープを大きく変えた。 本研究は,5つのテーマの観点から,LLMに関するセキュリティとプライバシの懸念を徹底的に調査する。 本稿は, LLMの安全性とリスク管理を強化するために, 今後の研究に期待できる道筋を提案する。
  論文  参考訳（メタデータ） (2024-03-19T07:10:58Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。