論文の概要: LLM Alignment--Utility Asymmetry under Semantic-Preserving Transformations

• arxiv url: http://arxiv.org/abs/2609.32717v1
• Date: Sat, 26 Sep 2026 15:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:58:40.815862
• Title: LLM Alignment--Utility Asymmetry under Semantic-Preserving Transformations
• Title（参考訳）: セマンティック保存変態下におけるLCM配向-ユーティリティ非対称性
• Abstract要約: 大言語モデル(LLM)のアライメントは、モデルが有用で安全であることを保証することを目的としている。 以前の研究によると、アライメントモデルはjailbreakプロンプト、代替エンコーディング、言語間の転送で失敗する可能性がある。 本稿では,ルールベースで可逆な合成意味保存変換を用いて,この問題を考察する。
• 参考スコア（独自算出の注目度）: 12.887016451582982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) alignment is intended to ensure that models remain helpful and safe, but its stability under input distributional shift is not yet fully understood. Prior work shows that aligned models can fail under jailbreak prompts, alternative encodings, and cross-lingual transfer, yet these failures are usually studied as attacks rather than controlled probes of alignment generalization. Moreover, existing evidence is largely grounded in natural language variation already represented during pretraining, leaving unresolved whether alignment generalizes with semantic content or remains tied to superficial surface patterns. In this paper, we study this question using synthetic semantic-preserving transformations that are rule-based and invertible, preserving task-relevant meaning while shifting inputs beyond standard linguistic variation. Across four open-weight and four commercial models, under both fine-tuning and in-context learning, we use these transformations as a probe of alignment generalization and identify an empirical pattern we term Alignment--utility asymmetry: once models can operate effectively on transformed inputs, task utility is often substantially retained while alignment failure increases more sharply. For example, adapted GPT-4.1 mini shows only limited utility degradation under transformation while its harmful rate rises from 13.3 to 74.3; Gemini 3 Flash similarly retains near-original utility while its harmful rate increases from 2.3 to 43.0. Taken together, these results suggest that semantic-preserving distribution shifts can expose a recurring gap in how utility and alignment generalize in current LLMs.
• Abstract（参考訳）: 大言語モデル(LLM)のアライメントは、モデルが有用かつ安全であることを保証することを目的としているが、入力分布シフト時の安定性はまだ完全には理解されていない。 以前の研究は、アライメントモデルがジェイルブレイクプロンプト、代替エンコーディング、言語間移動で失敗することを示したが、これらの失敗は通常、アライメント一般化の制御されたプローブではなく攻撃として研究される。 さらに、既存のエビデンスは主に、事前訓練中に表現された自然言語の変化に基づいており、アライメントが意味的内容に一般化するか、表面のパターンに結びついているかは未解決のままである。 本稿では,ルールベースで非可逆なセマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・コンフォーメーション(セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・トランスフォーメーション(セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・トランスフォーメーション)を用いて課題を考察する。 4つのオープンウェイトモデルと4つの商用モデルにおいて、微調整学習とインコンテキスト学習の両方の下で、これらの変換をアライメント一般化のプローブとして使用し、アライメント・ユーティリティ非対称性(Alignment-utility asymmetric)と呼ばれる経験的パターンを特定する。 例えば、適応型 GPT-4.1 mini では、変換時の実用性低下が制限され、有害率が 13.3 から 74.3 に上昇する一方、ジェミニ3 Flash もほぼ実用性を維持し、有害率が 2.3 から 43.0 に上昇する。 これらの結果から, セマンティック保存分布シフトは, 現在のLLMにおいて, 有効性とアライメントがいかに一般化するかにおいて, 繰り返し発生するギャップを露呈する可能性が示唆された。

関連論文リスト

• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment [53.510840985295154]
  狭いタスクの微調整は意味的に無関係なテスト領域に広範囲のミスアライメントをもたらすことを示す。 チャットテンプレートトークンは、ドメイン外のクエリに微調整された振る舞いをピギーバックすることができる。 トレーニング中に特定のトークン表現を正規化してEMを緩和するToken-Regularized Finetuning (TReFT)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T19:32:00Z)
• Intrinsic Guardrails: How Semantic Geometry of Personality Interacts with Emergent Misalignment in LLMs [9.485206628921857]
  有害な微調整はモデルの内部表現を上書きしないことを示す。 その結果,有害な微調整がモデルの内部表現を上書きしないことが示唆された。
  論文  参考訳（メタデータ） (2026-05-11T14:21:57Z)
• Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models [1.7767466724342065]
  大規模な視覚言語モデル(VLM)はよく親しみやすいセマンティックな先行概念に依存するが、既存の評価は、認識障害とルールマッピングの失敗を明確に区別するものではない。 我々は,この動作を意味的固定として検討する。プロンプトが代替の等しく有効なマッピングを指定した場合でも,デフォルトの解釈を保存する。 14個のオープンかつクローズドなVLMに対して、精度は常に標準ルールを好んでおり、ロバストなセマンティック固定ギャップが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-13T22:53:39Z)
• Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
  創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。 複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
  論文  参考訳（メタデータ） (2026-01-30T15:28:42Z)
• Sensitivity of Small Language Models to Fine-tuning Data Contamination [0.0]
  小言語モデル(SLM)は、資源に制約のある環境にますますデプロイされている。 命令チューニング中の構文的および意味的変換タイプに対する感受性を計測する。 文字反転はサイズや家族に関係なく、すべてのモデルでほぼ完全に失敗する。 セマンティック・トランスフォーメーションは、異なるしきい値の挙動を示し、コア言語能力においてより強いレジリエンスを示す。
  論文  参考訳（メタデータ） (2025-11-10T06:44:29Z)
• Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
  TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。 我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。 並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
  論文  参考訳（メタデータ） (2025-08-28T07:09:21Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。