論文の概要: AlignMerge - Alignment-Preserving Large Language Model Merging via Fisher-Guided Geometric Constraints

• arxiv url: http://arxiv.org/abs/2512.16245v1
• Date: Thu, 18 Dec 2025 06:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.958177
• Title: AlignMerge - Alignment-Preserving Large Language Model Merging via Fisher-Guided Geometric Constraints
• Title（参考訳）: AlignMerge - 釣り誘導幾何制約によるアライメント保存型大言語モデルの統合
• Authors: Aniruddha Roy, Jyoti Patel, Aman Chadha, Vinija Jain, Amitava Das,
• Abstract要約: 大きな言語モデル(LLM)を統合することは、複数の微調整されたチェックポイントから再トレーニングなしに機能を構成するための実践的な方法である。 標準のスキーム(リニアウェイトスープ、タスクベクトル、フィッシャー重み付け平均化)は、アライメントを静かに破壊しながら損失を保存できる。 AlignMergeは、アライメントを明示的な不変量にする幾何対応のマージフレームワークである。
• 参考スコア（独自算出の注目度）: 18.952292404429905
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Merging large language models (LLMs) is a practical way to compose capabilities from multiple fine-tuned checkpoints without retraining. Yet standard schemes (linear weight soups, task vectors, and Fisher-weighted averaging) can preserve loss while quietly destroying alignment. We argue that merging is not a numerical trick but a geometry-constrained operation around an already-aligned anchor: fusion must be steered to respect safety geometry, not validated post hoc. We introduce AlignMerge, a geometry-aware merging framework that makes alignment an explicit invariant. In a local Fisher chart around an instruction-tuned base, we estimate an alignment subspace with projector P_A and optimize: L_AlignMerge = L_geo + lambda_align * L_align + lambda_bud * L_bud, where L_geo keeps the merge close to its experts in Fisher-Rao geometry, L_align penalizes motion along alignment-sensitive directions, and L_bud enforces a soft alignment budget. As the alignment functional we use the decoding-invariant Alignment Quality Index (AQI), a latent-space criterion that captures how cleanly aligned and misaligned behaviors separate in representation space. Across five model families (LLaMA-3 8B, Mistral 7B, Qwen 2, Phi-3.5, Gemma 2), merging safety anchors with task experts, AlignMerge improves alignment metrics (AQI, toxicity, LLM-judge alignment) while matching or exceeding the best expert on instruction-following, reasoning, and helpfulness. It also exhibits smaller alignment-subspace drift and fewer budget violations than Fisher soups, TIES, SafeMerge, and MergeAlign. These results make alignment-preserving merging a first-class design goal and suggest a path to geometry-aware composition of future foundation models.
• Abstract（参考訳）: 大きな言語モデル(LLM)を統合することは、複数の微調整されたチェックポイントから再トレーニングなしに機能を構成するための実践的な方法である。 しかし、標準的なスキーム(リニアウェイトスープ、タスクベクトル、フィッシャー重み付け平均化)は、アライメントを静かに破壊しながら損失を抑えることができる。 我々は、マージは数値的なトリックではなく、既に整列されたアンカーを囲む幾何学的に制約された操作であると主張する。 AlignMergeは、アライメントを明示的な不変量にする幾何対応のマージフレームワークである。 L_AlignMerge = L_geo + lambda_align * L_align + lambda_bud * L_bud ここで、L_geoはフィッシャー・ラオ幾何学の専門家に近づき、L_alignはアライメントに敏感な方向に沿って動きをペナライズし、L_budはソフトアライメント予算を課す。 アライメント関数としてデコード不変のアライメント品質指数(AQI)という潜在空間の基準を使い、表現空間内でどのようにクリーンに整合し、不整合した振る舞いを分離するかを捉えます。 5つのモデルファミリ(LLaMA-3 8B、Mistral 7B、Qwen 2, Phi-3.5、Gemma 2)、安全アンカーとタスク専門家を融合したAlignMergeは、アライメントメトリクス(AQI、毒性、LSM-judgeアライメント)を改善しながら、指示追従、推論、有用性に関する最高の専門家をマッチングまたは超越している。 また、アライメント・サブスペースのドリフトが小さく、フィッシャースープ、TIES、SafeMerge、MergeAlignよりも予算違反が少ない。 これらの結果は、アライメント保存を第一級の設計目標にマージし、将来の基礎モデルの幾何学的構成への道筋を提案する。

関連論文リスト

• Source-Only Cross-Weather LiDAR via Geometry-Aware Point Drop [0.7734726150561086]
  LiDARセマンティックセグメンテーションは、屈折、散乱、点降下が幾何を損なうため、悪天候で劣化する。 本稿では,アジマスをアジマスに整列させ,隣接する連続性を維持するために円形のパディングを施した光幾何対応アダプタを提案する。 このアダプタは、データ中心の増分ベースラインでmIoUを7.9ポイント、クラス中心の正規化ベースラインで0.6ポイント改善する。
  論文  参考訳（メタデータ） (2025-11-03T05:44:07Z)
• RiemanLine: Riemannian Manifold Representation of 3D Lines for Factor Graph Optimization [49.83974390433746]
  本稿では,3次元ラインの最小限の統一表現である textbfRiemanLine を紹介する。 私たちのキーとなるアイデアは、各行のランドマークをグローバルなコンポーネントとローカルなコンポーネントに分離することです。 ICL-NUIM, TartanAir, および総合ベンチマークを用いた実験により, 提案手法はより精度の高いポーズ推定とライン再構成を実現することが示された。
  論文  参考訳（メタデータ） (2025-08-06T11:27:38Z)
• EmbodiedOcc++: Boosting Embodied 3D Occupancy Prediction with Plane Regularization and Uncertainty Sampler [43.277357306520145]
  本稿では,EmbodiedOcc++を紹介する。 Geometry-Guided Refinement Module (GRM) は、SUS(Semantic-Aware Uncertainty Sampler)とともに平面正規化によるガウス的更新を制約する EmbodiedOcc-ScanNetベンチマークの実験は、EmbodiedOccがさまざまな設定で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-13T12:10:49Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• Equivariant Deep Weight Space Alignment [54.65847470115314]
  本稿では,ウェイトアライメント問題を解決するための学習を目的とした新しいフレームワークを提案する。 まず、重み調整が2つの基本対称性に一致することを証明し、それからこれらの対称性を尊重する深いアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-20T10:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。