論文の概要: Hierarchical Alignment: Surgical Fine-Tuning via Functional Layer Specialization in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.12044v1
• Date: Tue, 14 Oct 2025 00:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.132734
• Title: Hierarchical Alignment: Surgical Fine-Tuning via Functional Layer Specialization in Large Language Models
• Title（参考訳）: 階層的アライメント:大規模言語モデルにおける機能層スペシャライゼーションによる外科的微調整
• Authors: Yukun Zhang, Qi Dong,
• Abstract要約: 階層的アライメント(Hierarchical Alignment)は、モデルレイヤの異なる機能ブロックにターゲットDPOを適用する新しい手法である。 具体的には、局所的な層(ローカル・アライン)の整列は文法的な流感を高める。 グローバル層(Global-Align)の整合性は、仮説として事実整合性を改善するが、論理的コヒーレンスを強化するための最も効果的な戦略であることを証明している。
• 参考スコア（独自算出の注目度）: 4.935224714809964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing alignment techniques for Large Language Models (LLMs), such as Direct Preference Optimization (DPO), typically treat the model as a monolithic entity, applying uniform optimization pressure across all layers. This approach overlooks the functional specialization within the Transformer architecture, where different layers are known to handle distinct tasks from syntax to abstract reasoning. In this paper, we challenge this one-size-fits-all paradigm by introducing Hierarchical Alignment, a novel method that applies targeted DPO to distinct functional blocks of a model's layers: local (syntax), intermediate (logic), and global (factuality). Through a series of controlled experiments on state-of-the-art models like Llama-3.1-8B and Qwen1.5-7B using LoRA for surgical fine-tuning, our results, evaluated by a powerful LLM-as-Judge, demonstrate significant and predictable improvements. Specifically, aligning the local layers (Local-Align) enhances grammatical fluency. More importantly, aligning the global layers (Global-Align) not only improves factual consistency as hypothesized but also proves to be the most effective strategy for enhancing logical coherence, outperforming all baselines. Critically, all hierarchical strategies successfully avoid the "alignment tax" observed in standard DPO, where gains in fluency come at the cost of degraded logical reasoning. These findings establish a more resource-efficient, controllable, and interpretable path for model alignment, highlighting the immense potential of shifting from monolithic optimization to structure-aware surgical fine-tuning to build more advanced and reliable LLMs.
• Abstract（参考訳）: DPO(Direct Preference Optimization)のような既存のLLM(Large Language Models)のアライメント技術は、通常、モデルをモノリシックなエンティティとして扱い、すべての層に均一な最適化圧力を適用する。 このアプローチは、異なるレイヤが構文から抽象的推論までの異なるタスクを処理することが知られているトランスフォーマーアーキテクチャにおける機能的特殊化を見落としている。 本稿では,局所(シンタクス),中間(論理),大域(実効性)という,モデル階層の異なる機能ブロックにターゲットDPOを適用する新しい手法である階層アライメントを導入することで,この一大パラダイムに挑戦する。 Llama-3.1-8B や Qwen1.5-7B といった最先端モデルを用いた外科的微調整の制御実験を通じて,強力な LLM-as-Judge による評価の結果,有意かつ予測可能な改善が得られた。 具体的には、局所的な層(ローカル・アライン)の整列は文法的な流感を高める。 さらに重要なのは、グローバルレイヤ(Global-Align)の整合性は、仮説として事実整合性を改善するだけでなく、論理的コヒーレンスを向上するための最も効果的な戦略であり、すべてのベースラインを上回ります。 批判的に言えば、すべての階層的戦略は標準的なDPOで見られる「調整税」を回避することに成功している。 これらの知見は, モノリシック最適化から構造認識型外科的微調整へ移行し, より高度で信頼性の高いLCMを構築するという大きな可能性を浮き彫りにした, モデルアライメントのための, より資源効率, 制御可能, 解釈可能な経路を確立した。

関連論文リスト

• Multi-Objective Hierarchical Optimization with Large Language Models [41.41567058185742]
  大規模言語モデル(LLM)は、多目的最適化を推進するための既定の選択肢ではない。 本稿では,このギャップを,構造化階層型探索戦略内での代理モデルと候補サンプルとしてLLMを活用することで解決する。
  論文  参考訳（メタデータ） (2026-01-20T12:10:13Z)
• Closed-Loop LLM Discovery of Non-Standard Channel Priors in Vision Models [48.83701310501069]
  大規模言語モデル(LLM)はニューラルアーキテクチャサーチ(NAS)に対する変換的アプローチを提供する 我々は、LLMが性能テレメトリに基づいてアーキテクチャ仕様を洗練する条件付きコード生成タスクのシーケンスとして検索を定式化する。 AST(Abstract Syntax Tree)変異を用いて,有効かつ整合性のあるアーキテクチャの膨大なコーパスを生成する。 CIFAR-100の実験結果は、この手法の有効性を検証し、精度の統計的に有意な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2026-01-13T13:00:30Z)
• Hierarchy-Aware Fine-Tuning of Vision-Language Models [18.244518940229202]
  視覚言語モデルは、大規模な画像テキスト事前学習を通じて強力なマルチモーダル表現を学習する。 標準的アプローチはラベルをフラットなカテゴリとして扱い、完全な微調整を必要とする。 構造的一貫性を保ちつつ,いくつかのパラメータを更新する,効率的な階層型微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-25T06:44:33Z)
• Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies [30.35690865689118]
  既存の強化学習アプローチは、大きな言語モデル(LLM)を単一の統一ポリシーとして扱い、内部メカニズムを見渡す。 本研究では,トランスフォーマー残流の内在的分割と隠れ状態の構成と非埋め込み行列との等価性を利用して,言語モデルポリシーを分解する。 この分解によって、個々のレイヤからのコントリビューションに対応する内部レイヤポリシと、自己注意とフィードフォワードネットワークと整合する内部モジュールポリシが明らかになった。
  論文  参考訳（メタデータ） (2025-12-22T18:51:48Z)
• Multiscale Aggregated Hierarchical Attention (MAHA): A Game Theoretic and Optimization Driven Approach to Efficient Contextual Modeling in Large Language Models [0.0]
  マルチスケール集約階層的注意(MAHA)は、階層的分解と数学的に厳密な集約を通じて注意機構を再構築する新しいアーキテクチャフレームワークである。 MAHAは、入力シーケンスを学習可能なダウンサンプリング演算子を介して階層スケールに動的に分割する。 実験的なFLOP解析により,4096のシークエンス長で計算コストが81%削減されたことが確認された。
  論文  参考訳（メタデータ） (2025-12-16T21:27:21Z)
• Hierarchical LoRA MoE for Efficient CTR Model Scaling [56.608809143548946]
  HiLoMoEは階層的なLoRA MoEフレームワークで、パラメータ効率のよい全体的なスケーリングを可能にする。 従来のスタックとは異なり、HiLoMoEルートは出力ではなく前のレイヤスコアに基づいており、すべてのレイヤが並列に実行される。
  論文  参考訳（メタデータ） (2025-10-12T03:54:11Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
  機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。 LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。 実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-02-25T01:52:37Z)
• Understanding Layer Significance in LLM Alignment [23.582520695083588]
  大規模言語モデル内のどの層がアライメントプロセスに最も重要かを特定することを提案する。 実験の結果、アライメントデータセットにかなりの違いがあるにもかかわらず、モデルの重要層が90%近く重複していることが判明した。 また, 最重要層を選択的に調整することで, 性能損失を最小限に抑え, 微調整効率を著しく向上させることができた。
  論文  参考訳（メタデータ） (2024-10-23T13:47:05Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Language Models as Hierarchy Encoders [22.03504018330068]
  階層変換器エンコーダ(HiTs)として再学習トランスフォーマーエンコーダを用いたLMを提案する。 本手法は, 埋込次元に適応する曲率を持つポアンカー球内に, 予め学習したLMの出力埋め込み空間を定めている。 予め訓練したLM, 標準微調整されたLM, およびいくつかの双曲埋め込みベースラインに対するHiTsの評価を行った。
  論文  参考訳（メタデータ） (2024-01-21T02:29:12Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。