論文の概要: SGM: A Framework for Building Specification-Guided Moderation Filters

• arxiv url: http://arxiv.org/abs/2505.19766v1
• Date: Mon, 26 May 2025 09:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.339338
• Title: SGM: A Framework for Building Specification-Guided Moderation Filters
• Title（参考訳）: SGM: 仕様誘導型モデレーションフィルタ構築のためのフレームワーク
• Authors: Masoomali Fatehkia, Enes Altinisik, Husrev Taha Sencar,
• Abstract要約: 大規模言語モデル(LLM)は、脱獄のような不適応や敵対的な入力に影響を受けやすい。 SGM(Specification-Guided Moderation)は,ユーザ定義仕様に基づいてモデレーションフィルタをトレーニングするためのフレキシブルなフレームワークである。 SGMでトレーニングされたフィルタは、キュレートされたデータセット上に構築された最先端の安全フィルタと同等に動作し、きめ細かい調整とユーザ定義のアライメント制御をサポートする。
• 参考スコア（独自算出の注目度）: 13.627536649679577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large language models (LLMs) with deployment-specific requirements is critical but inherently imperfect. Despite extensive training, models remain susceptible to misalignment and adversarial inputs such as jailbreaks. Content moderation filters are commonly used as external safeguards, though they typically focus narrowly on safety. We introduce SGM (Specification-Guided Moderation), a flexible framework for training moderation filters grounded in user-defined specifications that go beyond standard safety concerns. SGM automates training data generation without relying on human-written examples, enabling scalable support for diverse, application-specific alignment goals. SGM-trained filters perform on par with state-of-the-art safety filters built on curated datasets, while supporting fine-grained and user-defined alignment control.
• Abstract（参考訳）: 大規模言語モデル(LLM)とデプロイメント固有の要件の調整は重要だが、本質的には不十分である。 大規模な訓練にもかかわらず、モデルは、脱獄のような不適応や敵の入力に影響を受けやすいままである。 コンテンツモデレーションフィルタは一般的に外部の保護具として使用されるが、通常は安全に焦点を絞っている。 SGM(Specification-Guided Moderation)は,ユーザ定義仕様に基づくフレキシブルなモデレーションフィルタのトレーニングフレームワークである。 SGMは、人間が書いた例に頼ることなく、トレーニングデータ生成を自動化し、多様なアプリケーション固有のアライメント目標に対するスケーラブルなサポートを可能にします。 SGMでトレーニングされたフィルタは、キュレートされたデータセット上に構築された最先端の安全フィルタと同等に動作し、きめ細かい調整とユーザ定義のアライメント制御をサポートする。

関連論文リスト

• Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
  MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。 そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T09:03:51Z)
• Picky LLMs and Unreliable RMs: An Empirical Study on Safety Alignment after Instruction Tuning [39.48925539103229]
  微調整された大きな言語モデル(LLM)は、その安全性のアライメントを必然的に低下させる。 この現象により、モデルは不適切な応答を与えるのにより敏感になる。 我々の研究は、微調整中に安全アライメントを維持する複雑さを強調している。
  論文  参考訳（メタデータ） (2025-02-03T07:09:09Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Controllable Safety Alignment: Inference-Time Adaptation to Diverse Safety Requirements [46.79887158348167]
  大規模言語モデル(LLM)の安全性アライメントに関する現在のパラダイムは、一大のアプローチに従っている。 我々は,モデルの再トレーニングを伴わず,多様な安全要件に適応するフレームワークとして,制御可能な安全アライメント(CoSA)を提案する。
  論文  参考訳（メタデータ） (2024-10-11T16:38:01Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations [29.32704733570445]
  我々は人間とAIの会話のユースケースを対象とした入出力保護モデルであるLlama Guardを紹介した。 ラマガードは、特定の安全リスクを分類する貴重なツールである安全リスク分類を取り入れている。 Llama Guardは、OpenAIモデレーション評価データセットやToxicChatなど、既存のベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-12-07T19:40:50Z)
• Modular Control Architecture for Safe Marine Navigation: Reinforcement Learning and Predictive Safety Filters [0.0]
  強化学習は複雑なシナリオに適応するためにますます使われていますが、安全性と安定性を保証するための標準フレームワークは欠如しています。 予測安全フィルタ(PSF)は、明示的な制約処理を伴わずに、学習ベースの制御における制約満足度を確保する、有望なソリューションを提供する。 この手法を海洋航法に適用し,シミュレーションされたCybership IIモデル上でRLとPSFを組み合わせた。 その結果, PSF が安全維持に有効であることは, RL エージェントの学習速度と性能を損なうことなく示され, PSF を使用せずに標準 RL エージェントに対して評価された。
  論文  参考訳（メタデータ） (2023-12-04T12:37:54Z)
• Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To! [88.90694413503614]
  LLMの安全性は微調整によって損なわれる可能性がある。 我々は、GPT-3.5の安全ガードレールを10種類の例で微調整することで、脱獄した。 我々は、協調LLMのカスタム微調整のための安全プロトコルの強化に向けたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-10-05T17:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。