論文の概要: SHARD: Safe and Helpful Alignment via Self-Reframing Distillation

• arxiv url: http://arxiv.org/abs/2606.15517v1
• Date: Sun, 14 Jun 2026 00:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.670427
• Title: SHARD: Safe and Helpful Alignment via Self-Reframing Distillation
• Title（参考訳）: SHARD:セルフリフレーミング蒸留による安全でヘルプなアライメント
• Abstract要約: 大規模な言語モデルは、しばしばセンシティブなプロンプトに苦しむ。 本研究では, 自己冷凍蒸留法であるSHARDを導入し, 安全性の向上を図る。
• 参考スコア（独自算出の注目度）: 16.054987899279627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often struggle with sensitive prompts. They may refuse outright, provide generic safety boilerplate, or fail to address the user's legitimate informational needs that can be answered safely. We introduce SHARD, a self-reframing distillation method to improve safe-helpfulness. It first rewrites sensitive prompts to surface benign intent using philosophical guidelines, then reframes its original responses into safe, more helpful ones, and finally fine-tunes the model on its self-reframed responses. Across DNA and the English subset of LINGUASAFE, SHARD improves helpfulness for most model families while preserving safety. It also remains competitive with distillation from a larger teacher model, suggesting that models can internalize safe and helpful behavior elicited from their own. Warning: This paper contains content that may be offensive or harmful.
• Abstract（参考訳）: 大規模な言語モデルは、しばしばセンシティブなプロンプトに苦しむ。 それらは、完全に拒否したり、一般的な安全ボイラープレートを提供したり、安全に答えられるユーザの正統な情報要求に対処できなかったりします。 本研究では, 自己冷凍蒸留法であるSHARDを導入し, 安全性の向上を図る。 最初は、哲学的ガイドラインを使って微妙な指示書を表面化して、元の反応を安全でより有用なものに再構成し、最後に自己再構成された反応でモデルを微調整する。 DNAとlingUASAFEの英語サブセットを通じて、SHARDは安全を維持しながら、ほとんどのモデルファミリーの有用性を向上する。 また、より大きな教師モデルからの蒸留と競合し続けており、モデルが自身から引き出された安全で有益な行動の内部化を可能にすることを示唆している。 警告: 本論文は攻撃的または有害な内容を含む。

関連論文リスト

• Addressing Over-Refusal in LLMs with Competing Rewards [28.092622045521917]
  言語モデルの安全性トレーニングは、しばしば過剰な拒絶を引き起こす。 我々は、安全でない推論自体が有用な探索信号として機能すると主張している。 この行動は、有害な推論を直接操作する攻撃を過度に拒絶し、防御するのに役立ちます。
  論文  参考訳（メタデータ） (2026-06-30T14:38:49Z)
• THINKSAFE: Self-Generated Safety Alignment for Reasoning Models [60.10077024249373]
  外部の教師がいなくても安心して安心できるフレームワークであるThinkSafeを提案する。 我々の重要な洞察は、コンプライアンスは安全メカニズムを抑制するが、モデルはしばしば害を特定するために潜伏した知識を保持することである。 DeepSeek-R1-DistillとQwen3の実験では、ThinkSafeは推論能力を維持しながら安全性を大幅に向上している。
  論文  参考訳（メタデータ） (2026-01-30T16:31:02Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• From Hard Refusals to Safe-Completions: Toward Output-Centric Safety Training [14.489448208361175]
  本稿では,ユーザ意図のバイナリ分類ではなく,アシスタントのアウトプットの安全性を重視した安全訓練アプローチを提案する。 セーフコンプリートトレーニングは安全性を向上し(特にデュアルユースプロンプト)、残留する安全障害の重症度を低減し、モデルの有用性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-12T00:18:23Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations [19.132597762214722]
  現在のアライメント手法は、動的なユーザ意図と複雑な目的に苦しむ。 異なるシナリオにおける安全性を向上させるトレーニングフリーフレームワークであるSafety Arithmeticを提案する。 実験の結果,安全算術は安全対策を大幅に改善し,過度な安全性を低減し,モデルの有用性を維持できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T17:48:13Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Shadow Alignment: The Ease of Subverting Safely-Aligned Language Models [102.63973600144308]
  オープンソースの大規模言語モデルは、有害なコンテンツを生成するために容易に変換できる。 5つの異なる組織がリリースした8つのモデルに対する実験は、シャドーアライメントアタックの有効性を実証している。 この研究は、悪意のある攻撃者に対するオープンソースのLLMの安全性を見直し、強化するための集団的な取り組みの発端となる。
  論文  参考訳（メタデータ） (2023-10-04T16:39:31Z)
• Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions [79.1824160877979]
  いくつかの一般的な命令調整モデルは非常に安全でないことを示す。 私たちの安全チューニングは、標準ベンチマークによって測定されたモデルの性能や有用性を著しく低下させません。
  論文  参考訳（メタデータ） (2023-09-14T17:23:37Z)
• XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models [34.75181539924584]
  そのようなeXaggerated Safetyの振る舞いを特定するために、XSTestと呼ばれる新しいテストスイートを紹介します。 我々は、XSTestの作成と構成を説明し、それからテストスイートを使用して、最先端の言語モデルにおける体系的な障害モードを強調します。
  論文  参考訳（メタデータ） (2023-08-02T16:30:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。