Fugu-MT 論文翻訳(概要): How LLM Task-Adaptation Reshapes Alignment: A Multi-dimensional Study of Behavioral and Representational Drift

論文の概要: How LLM Task-Adaptation Reshapes Alignment: A Multi-dimensional Study of Behavioral and Representational Drift

arxiv url: http://arxiv.org/abs/2607.22676v1
Date: Fri, 10 Jul 2026 11:11:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-02 22:55:39.020277
Title: How LLM Task-Adaptation Reshapes Alignment: A Multi-dimensional Study of Behavioral and Representational Drift
Title（参考訳）: LLMタスク適応のアライメント--行動的および表現的ドリフトの多次元的考察
Abstract要約: ポストトレーニングは、下流タスクに大規模言語モデルを適用するための重要なメカニズムである。トレーニング後のアライメントが一様に整列しないことを示す。タスク適応は単に能力向上のステップではなく、それ自体がアライメントの介入である、と結論付けます。
参考スコア（独自算出の注目度）: 11.948805377284694
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Post-training is a key mechanism for adapting large language models to downstream tasks. While prior work suggests that task adaptation can alter a model's pre-existing alignment, especially its safety behavior, its broader effects across alignment domains remain poorly understood. We address this gap through a systematic evaluation of representative task-adaptation methods, including supervised fine-tuning (SFT), KL-regularized SFT, and reinforcement learning with verifiable rewards (RLVR) across 15 alignment aspects spanning six key domains: safety, factuality, stance stability, social harm, controllability, and instructability. Our results reveal that post-training does not reshape alignment uniformly. RLVR improves task performance while inducing comparatively small, but non-zero, metric-specific shifts, while SFT leads to substantially larger alignment drift across domains. KL regularization mitigates this effect: stronger reference-model anchoring reduces alignment drift from the baseline, although KL-SFT still falls short of RLVR in preserving alignment. Representation-level analysis further supports this pattern, with shifts in alignment-relevant representations tracking behavioral drift. Together, these results show that task adaptation is not merely a capability-improving step, but an alignment intervention in its own right, motivating multi-dimensional alignment evaluation as a standard component of post-training pipelines.
Abstract（参考訳）: ポストトレーニングは、下流タスクに大規模言語モデルを適用するための重要なメカニズムである。以前の研究は、タスク適応がモデルの既存のアライメント、特にその安全性の振る舞いを変える可能性があることを示唆していたが、アライメント領域間の幅広い影響は理解されていないままである。このギャップは、教師付き微調整(SFT)、KL調整SFT、検証可能な報酬(RLVR)による強化学習を含む代表的タスク適応手法の体系的評価を通じて解決される。以上の結果から,ポストトレーニングはアライメントを均一に形成しないことが明らかとなった。 RLVRは比較的小さいが、メートル法固有のシフトを誘導しながらタスク性能を向上する一方、SFTはドメイン間のアライメントドリフトを大幅に大きくする。より強い参照モデルアンカーはベースラインからのアライメントドリフトを減少させるが、KL-SFTはアライメント保存においてRLVRに劣っている。表現レベル分析はさらにこのパターンをサポートし、アライメント関連表現の変化は行動の漂流を追跡する。これらの結果から,タスク適応は単に能力向上の段階ではなく,それ自身によるアライメントの介入であり,ポストトレーニングパイプラインの標準コンポーネントとして多次元アライメント評価を動機付けていることが明らかとなった。

関連論文リスト

Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
論文参考訳（メタデータ） (2026-05-11T17:59:25Z)
RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
論文参考訳（メタデータ） (2026-05-03T14:48:18Z)
Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
論文参考訳（メタデータ） (2026-02-12T03:31:19Z)
Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers [27.14203097630326]
本稿では、遅延空間遷移演算子を導入し、ドリフト補償を用いた逐次学習を提案する。 SLDCは、ドリフトの影響を軽減するために、タスク間で機能の分散を調整することを目的としている。標準CILベンチマークの実験では、SLDCはSeqFTの性能を大幅に改善することが示された。
論文参考訳（メタデータ） (2025-11-13T03:40:54Z)
Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
論文参考訳（メタデータ） (2025-10-17T07:43:51Z)
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization [6.5225344327304535]
低ランク適応(LoRA)は、大規模言語モデルを効率的に微調整するための標準ツールとなっている。 LoRA更新はアライメントドリフトを誘発し、安全性と行動制約を弱める。ファインタニング時にアライメントを保存するための原則的フレームワークであるAlignGuard-LoRAを提案する。
論文参考訳（メタデータ） (2025-08-04T05:45:24Z)
Re-Emergent Misalignment: How Narrow Fine-Tuning Erodes Safety Alignment in LLMs [0.0]
安全でないコードに対する微調整は、アライメントに反する内部的な変更を誘発することを示す。我々は、アライメントの振る舞いを管理するモデルの活性化空間における共有潜在次元を同定する。
論文参考訳（メタデータ） (2025-07-04T15:36:58Z)
Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
論文参考訳（メタデータ） (2025-06-19T07:03:05Z)
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
論文参考訳（メタデータ） (2024-01-20T10:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。