論文の概要: LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization

• arxiv url: http://arxiv.org/abs/2509.17183v1
• Date: Sun, 21 Sep 2025 18:06:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.155073
• Title: LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization
• Title（参考訳）: LifeAlign: メモリ拡張Focalized Preference Optimizationによる大規模言語モデルのライフサイクルアライメント
• Authors: Junsong Li, Jie Zhou, Bihao Zhan, Yutao Yang, Qianjun Pan, Shilian Chen, Tianyu Huai, Xin Li, Qin Chen, Liang He,
• Abstract要約: 従来のアライメント手法は、モデルが以前獲得した知識を失う破滅的な忘れ込みに悩まされる。 ライフアラインメントのための新しいフレームワークであるLifeAlignを紹介します。 本研究では,短期的優先表現を安定な長期記憶にマージする,短期的・長期的メモリ統合機構を開発する。
• 参考スコア（独自算出の注目度）: 20.226445959943927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alignment plays a crucial role in Large Language Models (LLMs) in aligning with human preferences on a specific task/domain. Traditional alignment methods suffer from catastrophic forgetting, where models lose previously acquired knowledge when adapting to new preferences or domains. We introduce LifeAlign, a novel framework for lifelong alignment that enables LLMs to maintain consistent human preference alignment across sequential learning tasks without forgetting previously learned knowledge. Our approach consists of two key innovations. First, we propose a focalized preference optimization strategy that aligns LLMs with new preferences while preventing the erosion of knowledge acquired from previous tasks. Second, we develop a short-to-long memory consolidation mechanism that merges denoised short-term preference representations into stable long-term memory using intrinsic dimensionality reduction, enabling efficient storage and retrieval of alignment patterns across diverse domains. We evaluate LifeAlign across multiple sequential alignment tasks spanning different domains and preference types. Experimental results demonstrate that our method achieves superior performance in maintaining both preference alignment quality and knowledge retention compared to existing lifelong learning approaches. The codes and datasets will be released on GitHub.
• Abstract（参考訳）: 調整は大きな言語モデル(LLM)において、特定のタスク/ドメインにおける人間の好みに合わせて重要な役割を果たす。 従来のアライメント手法は破滅的な忘れ込みに悩まされ、モデルが新しい好みやドメインに適応する際に以前に獲得した知識を失う。 ライフアラインメント(LifeAlign)は、LLMが学習した知識を忘れることなく、シーケンシャルな学習タスク間で一貫した人間の嗜好アライメントを維持することができる、生涯アライメントのための新しいフレームワークである。 私たちのアプローチは2つの重要なイノベーションで構成されています。 まず,従来の課題から得られる知識の侵食を防止しつつ,LLMと新たな嗜好を整合させる局所的選好最適化手法を提案する。 第2に,各領域にまたがるアライメントパターンの効率的な保存と検索を可能にするため,分割した短期的嗜好表現を内在性次元の低減を用いて安定な長期記憶にマージする,短期的・長期的メモリ統合機構を開発する。 異なるドメインと好みのタイプにまたがる複数のシーケンシャルなアライメントタスクでLifeAlignを評価する。 実験の結果,本手法は,従来の生涯学習手法と比較して,嗜好調整品質と知識保持性の両方を維持する上で優れた性能を発揮することが示された。 コードとデータセットはGitHubでリリースされる。

関連論文リスト

• Guiding Cross-Modal Representations with MLLM Priors via Preference Alignment [15.51412479114864]
  クロスモーダル表現学習を導く新しいフレームワークであるMAPLE(Modality-Aligned Preference Learning for Embeddings)を紹介する。 MaPLEは、学習過程を強化学習として定式化し、既成のMLLMを用いた自動選好データ構築と、新たなRPA(Relative Preference Alignment)損失という2つの重要な要素を定式化している。 実験結果から,我々の嗜好誘導アライメントは細粒度クロスモーダル検索において著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-06-08T02:33:35Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [7.566515311806724]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Continuous Subspace Optimization for Continual Learning [24.597922531045846]
  継続的な学習は、先行知識を維持しながら、連続的に複数のタスクを学習することを目的としている。 連続学習のための連続部分空間最適化(CoSO)を提案する。 CoSOは、特に長いタスクシーケンスを持つ挑戦的なシナリオにおいて、最先端のメソッドを著しく上回る。
  論文  参考訳（メタデータ） (2025-05-17T03:53:21Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。