論文の概要: The Heterogeneous Safety Impacts of Benign Multilingual Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.28843v1
• Date: Sat, 27 Jun 2026 10:05:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.703731
• Title: The Heterogeneous Safety Impacts of Benign Multilingual Fine-Tuning
• Title（参考訳）: 良性多言語ファインチューニングの異種安全性への影響
• Abstract要約: 大きな言語モデルを微調整すると、安全でない敵のプロンプトに反応する傾向が増す。 Llama-3.2, Qwen3, Gemma-3モデルの微調整による多言語設定におけるこの現象の総合的研究について述べる。 安全性は、微調整言語の選択と評価言語の選択の両方に非常に敏感であることがわかった。
• 参考スコア（独自算出の注目度）: 13.578131927232292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning a large language model is a ubiquitous method for enhancing its capability on a specific downstream task. However, prior work has shown that this increase in capability comes with a cost: it can increase a model's tendency to respond to unsafe adversarial prompts, even when fine-tuning with non-adversarial data. We present the first comprehensive empirical study of this phenomenon in multilingual settings by fine-tuning Llama-3.2, Qwen3, and Gemma-3 models using benign data translated across nine languages. We find that safety outcomes are highly sensitive to both the choice of fine-tuning language and the evaluation language, with adversarial compliance rates increasing four-fold in some settings. Multilingual safety drift is decoupled from general capability metrics, and occurs heterogeneously across languages and models. Fine-tuning in non-English languages often induces smaller internal representational drifts than English, but these shifts lead models to default to either exaggerated compliance or refusal. As such, assessing fine-tuning impacts solely in English provides inadequate assurance for deployment. To facilitate further research into these cross-lingual safety blind spots, we release the Multilingual-Benign-Tune dataset and the SORRY-Bench-Multilingual evaluation suite.
• Abstract（参考訳）: 大規模な言語モデルを微調整することは、特定の下流タスクでその能力を向上するためのユビキタスな方法である。 しかし、以前の研究では、この能力の増加にはコストが伴うことが示されており、非敵データによる微調整であっても、モデルが安全でない敵のプロンプトに応答する傾向が増大する可能性がある。 Llama-3.2, Qwen3, Gemma-3を微調整し, 9つの言語で翻訳された良性データを用いて, この現象を多言語環境での包括的実証研究を行った。 安全性は、微調整言語と評価言語の両方の選択に非常に敏感であり、いくつかの設定では対向コンプライアンス率は4倍になる。 多言語安全ドリフトは一般的な能力指標から切り離され、言語やモデル間で不均一に発生する。 英語以外の言語の微調整は、しばしば英語よりも内部表現のドリフトを小さくするが、これらのシフトにより、モデルは誇張されたコンプライアンスや拒絶のいずれかにデフォルトに導かれる。 そのため、英語のみによる微調整の影響を評価することは、配備に不十分な保証を提供する。 これら言語間安全盲点のさらなる研究を容易にするために,Multilingual-Benign-TuneデータセットとSORRY-Bench-Multilingual評価スイートをリリースする。

関連論文リスト

• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models [3.2555924024638667]
  安全に整合した大きな言語モデルでは、現実の正確性に関係なくユーザの意見を肯定する傾向がある。 テキストbf38言語とテキストbf33トピックカテゴリを対象とする,テキストbfsix命令調整モデルのベンチマークを行う。
  論文  参考訳（メタデータ） (2026-06-07T04:50:40Z)
• Multilingual Safety Alignment via Self-Distillation [17.94152626632751]
  大規模言語モデル (LLM) は、重度の多言語的安全性のミスアライメントを示す。 マルチリンガル自己蒸留(Multilingual Self-Distillation:MSD)という,言語横断型セーフガード転送フレームワークを提案する。 私たちのフレームワークは柔軟で、さまざまな自己蒸留戦略に統合できます。
  論文  参考訳（メタデータ） (2026-05-03T14:22:49Z)
• Multilingual Refusal Alignment for Safer Large Language Models [53.64286756804503]
  単言語アライメントが言語横断的に伝達されるか,トレーニング中に言語一貫性が保たれるか,一般的な知識能力とのトレードオフが生じるかを検討する。 RefusEUは、12のヨーロッパ言語をカバーする新しい拒絶アライメントデータセットであり、現在の最先端モデルを評価するための専用のテストセットを含む。 制御された直接選好最適化(DPO)実験は、2つの重要な洞察を提供する: 英語でのみモデルを整列することは、同じハーネスカテゴリであっても、言語間安全を保証するには不十分である。
  論文  参考訳（メタデータ） (2026-04-24T09:29:14Z)
• Precise Shield: Explaining and Aligning VLLM Safety via Neuron-Level Guidance [64.18179414483966]
  実世界のデプロイメントでは、VLLM(Vision-Language Large Models)は、多言語およびマルチモーダル複合攻撃による重要な課題に直面している。 危険入力と良入力のアクティベーションパターンを対比することにより、まず安全ニューロンを識別する2段階のフレームワークであるPrecise Shieldを提案する。 この戦略は多言語および多モーダルの一般化を維持しながら安全性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-04-10T02:42:52Z)
• Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
  大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。 対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。 言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
  論文  参考訳（メタデータ） (2026-01-01T08:53:49Z)
• Conditions for Catastrophic Forgetting in Multilingual Translation [24.10629800866219]
  多言語微調整における破滅的忘れを誘発する条件を同定する。 モデルとデータサイズの間の相対的なスケールは、忘れる際の主要な決定要因であることを示す。 また, 言語間アライメントは, 忘れを軽減し, 未確認対象言語への肯定的な移動を促進することも示している。
  論文  参考訳（メタデータ） (2025-10-22T12:54:00Z)
• MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
  大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。 この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。 素早い分類のための多言語ガードレールを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:06Z)
• Vicinal Risk Minimization for Few-Shot Cross-lingual Transfer in Abusive Language Detection [19.399281609371258]
  高リソースから中低リソース言語への言語間変換学習は、励みのよい結果を示している。 我々は、言語間乱用言語検出を改善するために、ドメイン適応のためのデータ拡張と継続事前学習を利用する。
  論文  参考訳（メタデータ） (2023-11-03T16:51:07Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。