論文の概要: Safe at the Margins: A General Approach to Safety Alignment in Low-Resource English Languages -- A Singlish Case Study

• arxiv url: http://arxiv.org/abs/2502.12485v2
• Date: Tue, 08 Apr 2025 04:50:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 14:46:26.636179
• Title: Safe at the Margins: A General Approach to Safety Alignment in Low-Resource English Languages -- A Singlish Case Study
• Title（参考訳）: マルジンの安全--低資源英語における安全アライメントへの一般的なアプローチ--Singlish Case Study
• Authors: Isaac Lim, Shaun Khoo, Roy Ka-Wei Lee, Watson Chua, Jia Yi Goh, Jessica Foo,
• Abstract要約: 既存の安全アライメント手法は英語中心であり、有効性を制限している。 我々は,Singlishの毒性を低減するため,Slama 3-8B のSEA-Lion-v2.1-Instruct を調整するための Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), Kahneman-Tversky Optimization (KTO) を体系的に比較した。 以上の結果から, SFT+KTO は DPO よりも高い試料効率で安全性を向上し, さらに KTO-S を導入し, 改良された KL 分散正則化による安定性の向上を実現した。
• 参考スコア（独自算出の注目度）: 3.314410266204751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring the safety of Large Language Models (LLMs) in diverse linguistic settings remains challenging, particularly for low-resource languages. Existing safety alignment methods are English-centric, limiting their effectiveness. We systematically compare Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), and Kahneman-Tversky Optimization (KTO) for aligning SEA-Lion-v2.1-Instruct, a Llama 3-8B variant, to reduce toxicity in Singlish. Our results show that SFT+KTO achieves superior safety alignment with higher sample efficiency than DPO. Additionally, we introduce KTO-S, which enhances stability via improved KL divergence regularization. Our approach reduces Singlish toxicity by 99\%, generalizes to TOXIGEN, and maintains strong performance on standard LLM benchmarks, providing a scalable framework for safer AI deployment in multilingual contexts.
• Abstract（参考訳）: 多様な言語環境でのLLM(Large Language Models)の安全性を確保することは、特に低リソース言語では、依然として困難である。 既存の安全アライメント手法は英語中心であり、有効性を制限している。 我々は,Singlishの毒性を低減するため,Slama 3-8B のSEA-Lion-v2.1-Instruct を調整するための Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), Kahneman-Tversky Optimization (KTO) を体系的に比較した。 以上の結果から,SFT+KTOはDPOよりも高い試料効率で安全性を向上できることがわかった。 さらに、KTO-Sを導入し、改良されたKL分散正則化により安定性を向上させる。 我々のアプローチは、Singlish毒性を99\%削減し、TOXIGENに一般化し、標準LLMベンチマークで強力なパフォーマンスを維持し、マルチランガルコンテキストでのAIデプロイメントをより安全にするためのスケーラブルなフレームワークを提供する。

関連論文リスト

• Learning Natural Language Constraints for Safe Reinforcement Learning of Language Agents [13.63944785085617]
  一般化可能なアライメントは、現実世界のNLPアプリケーションにLLM(Large Language Models)を安全にデプロイする上で、重要な課題である。 チューニング前にデータを最初にキュレートするパラダイムシフトに触発されて、安全な言語アライメントのための新しいフレームワークを導入しました。 制約付きマルコフ決定プロセス(CMDP)内のフレームワークを形式化し,テキストベースのナビゲーション環境を通じて検証する。
  論文  参考訳（メタデータ） (2025-04-04T05:26:28Z)
• The Hidden Space of Safety: Understanding Preference-Tuned LLMs in Multilingual context [0.9130277390156759]
  アライメントチューニングにより、大きな言語モデルは、推論、命令追従、有害な世代を最小化できる。 広く展開されているにもかかわらず、これらのモデルはモノリンガルバイアスを示し、言語間のアライメントの有効性に関する懸念を提起する。 現在のアライメント手法は主に英語に重点を置いており、アライメント機構が多言語設定にどのように一般化するかははっきりしない。
  論文  参考訳（メタデータ） (2025-04-03T15:46:46Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [65.41451412400609]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• JailBench: A Comprehensive Chinese Security Assessment Benchmark for Large Language Models [7.020171518136542]
  JailBenchは,大規模言語モデル(LLM)の深層脆弱性を評価するための,最初の包括的な中国のベンチマークである。 我々は JailBench 構築に新しい Jailbreak Prompt Engineer (AJPE) フレームワークを採用している。 提案した JailBench は 13 個の LLM に対して広範囲に評価され,ChatGPT に対する攻撃成功率が最も高い。
  論文  参考訳（メタデータ） (2025-02-26T08:36:42Z)
• Soteria: Language-Specific Functional Parameter Steering for Multilingual Safety Alignment [4.368725325557961]
  ソテリアは、各言語において有害なコンテンツ生成に最も関与する「機能的ヘッド」を最小限に特定し、調整する。 XThreatBenchは、実際のポリシーガイドラインから引き出されたきめ細かい有害な振る舞いをキャプチャする、特殊な多言語データセットである。 主要なオープンソース LLM による実験によると、Soteria は高、中、低リソース言語にわたる安全性の指標を一貫して改善している。
  論文  参考訳（メタデータ） (2025-02-16T19:44:01Z)
• Direct Preference Optimization Using Sparse Feature-Level Constraints [47.15096507230884]
  特徴レベルの制約付き優先度最適化は、安定性を確保しつつアライメントプロセスを簡素化するために設計された新しい手法である。 提案手法は、訓練されたスパースオートエンコーダで活性化されるスパース機能と、逐次KL分散の品質を用いて効率を向上する。
  論文  参考訳（メタデータ） (2024-11-12T07:54:13Z)
• Is Preference Alignment Always the Best Option to Enhance LLM-Based Translation? An Empirical Analysis [20.023077870947024]
  本研究ではコントラスト優先最適化(Contrastive Preference Optimization, CPO)に注目し, 翻訳品質に対する嗜好に基づくアライメントの影響を評価する実験を行う。 以上の結果から,CPO はアライメント指標に関して高品質なデータに対して常に Supervised Fine-Tuning (SFT) を上回りながら,下流評価指標間の不安定性をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-30T08:01:44Z)
• Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models [94.39278422567955]
  人間の嗜好を微調整した大型言語モデル(LLM)は、その能力向上に成功している。 しかし、微調整中のLLMの安全性確保は依然として重要な懸念事項である。 本稿では,BFPO(Bi-Factorial Preference Optimization)と呼ばれる教師あり学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T17:31:21Z)
• ABC Align: Large Language Model Alignment for Safety & Accuracy [0.0]
  大規模言語モデル(LLM)のための新しいアライメント手法ABC Alignを提案する。 合成データ生成、選好最適化、ポストトレーニングモデル量子化における最近のブレークスルーの上に構築された一連のデータとメソッドを組み合わせる。 我々の統一的なアプローチは、標準ベンチマークに対して測定されたように、バイアスを軽減し、推論能力を保ちながら精度を向上させる。
  論文  参考訳（メタデータ） (2024-08-01T06:06:25Z)
• Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching [74.62818936088065]
  textscSafePatchingは包括的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的なPSAを実現する。 textscSafePatchingは、連続的なPSAシナリオにおいて、その優位性を示している。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Enhancing LLM Safety via Constrained Direct Preference Optimization [8.22888921018027]
  我々は、最近提案されたAIシステムのためのDPO(Direct Preference Optimization)アプローチの新たな拡張であるConstrained DPO(C-DPO)を紹介する。 二重勾配降下法とDPOを併用することにより,強化学習を用いることなく,有用性と無害性との間のほぼ最適なトレードオフを同定する。 提案手法は, DPO に欠落している LLM に対して, 同じ安全性制約の下では, 極めて高い報酬を得られることを実証的に保証する。
  論文  参考訳（メタデータ） (2024-03-04T20:39:24Z)
• Assessing the Brittleness of Safety Alignment via Pruning and Low-Rank Modifications [69.13807233595455]
  大きな言語モデル(LLM)は、その安全性メカニズムに固有の脆さを示す。 本研究では, プルーニングと低ランク改造を利用した安全アライメントの脆性について検討した。 安全クリティカル領域への変更が制限された場合でも,LSMは低コストの微調整攻撃に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2024-02-07T18:34:38Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
  我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T05:23:34Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Demystify Optimization Challenges in Multilingual Transformers [21.245418118851884]
  ロスランドスケープとパラメータの可塑性の観点から最適化課題を考察する。 不均衡なトレーニングデータは、高いリソース言語と低いリソース言語の間でタスクの干渉を引き起こす。 Curvature Aware Task Scaling (CATS) を提案し、特にリソースの少ない場合の最適化と一般化の両方を改善します。
  論文  参考訳（メタデータ） (2021-04-15T17:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。