論文の概要: Dynamic Positional Attention Modulation for Parameter-Efficient Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2610.07848v1
• Date: Tue, 06 Oct 2026 06:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.849164
• Title: Dynamic Positional Attention Modulation for Parameter-Efficient Fine-Tuning of Large Language Models
• Title（参考訳）: 大規模言語モデルのパラメータ効率の良い微調整のための動的位置アテンション変調
• Abstract要約: 我々は,クエリとキー表現を直接操作することで,位置情報がどのように注意に寄与するかを適応させるPEFT手法であるDyPAMを提案する。 複数のバックボーンモデルに対する数学的および常識推論ベンチマークの実験は、DyPAMが既存の強力なPEFTベースラインを一貫して上回ることを示した。
• 参考スコア（独自算出の注目度）: 11.205622070088893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has become a standard approach for adapting large language models to downstream tasks. However, most existing PEFT methods rely on uniform and static adaptations, without accounting for the structured heterogeneity of attention across dimensions, heads, layers, and input tokens. In practice, attention representations exhibit non-uniform behavior, and positional encoding mechanisms such as rotary positional embeddings (RoPE) induce dimension-dependent positional structure, making uniform adaptation suboptimal. In this work, we propose DyPAM (Dynamic Positional Attention Modulation), a PEFT method that adapts how positional information contributes to attention by operating directly on the query and key representations. DyPAM combines input-conditioned, dimension-wise modulation with head-wise and layer-wise structural modulation, performing fine-grained adaptation of positional attention aligned with the RoPE-induced structure without modifying the pretrained backbone. Extensive experiments on mathematical and commonsense reasoning benchmarks across multiple backbone models demonstrate that DyPAM consistently outperforms existing strong PEFT baselines.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、下流タスクに大規模言語モデルを適用するための標準手法となっている。 しかし、既存のPEFTの手法の多くは、次元、頭、層、入力トークンにまたがる注意の不均一性を考慮せずに、均一かつ静的な適応に依存している。 実際には、注意表現は不均一な振る舞いを示し、回転位置埋め込み(RoPE)のような位置符号化機構は次元に依存した位置構造を誘導し、一様適応を最適化する。 本研究では,クエリやキー表現を直接操作することで,位置情報がどのように注意に寄与するかを適応させるPEFT手法であるDyPAMを提案する。 DyPAMは入力条件付き次元変調とヘッドワイドおよびレイヤーワイド構造変調を組み合わせることで、予め訓練されたバックボーンを変更することなく、RoPE誘導構造に整合した位置注意のきめ細かい適応を行う。 複数のバックボーンモデルにまたがる数学的および常識推論のベンチマークに関する大規模な実験は、DyPAMが既存の強力なPEFTベースラインを一貫して上回ることを示した。

関連論文リスト

• Weight Updates as Activation Shifts: A Principled Framework for Steering [54.70188910511715]
  アクティベーションステアリングは極めてパラメータ効率のよい適応形態となるが、その有効性は重要な設計選択に依存する。 我々は,活性化空間介入と重量空間更新の1次等価性を確立し,活性化ステアリングが微調整動作を再現できる条件を導出する。 この等価性は、設計をステアリングするための原則的な枠組みをもたらし、ポストブロック出力を理論的に支持され、非常に表現力のある介入サイトとして特定する。
  論文  参考訳（メタデータ） (2026-02-28T02:50:04Z)
• Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
  リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。 また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
  論文  参考訳（メタデータ） (2026-02-02T21:33:03Z)
• GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
  GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。 適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。 複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
  論文  参考訳（メタデータ） (2025-11-15T17:55:47Z)
• Context-aware Rotary Position Embedding [0.0]
  RoPE(Rotary Positional Embeddings)は、相対的な位置符号化と計算効率との互換性から広く採用されている。 トークン埋め込みを前提とした頭部特異的な周波数パターンを動的に生成するRoPEの新たな一般化であるCARoPE(Context-Aware Rotary Positional Embedding)を提案する。 CaroPEは、RoPEや他の一般的な位置符号化ベースラインを一貫して上回り、より長いコンテキスト長でも非常に低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2025-07-30T20:32:19Z)
• Controllable Patching for Compute-Adaptive Surrogate Modeling of Partial Differential Equations [5.248019942004983]
  本稿では,パッチベースモデルにおける動的パッチサイズ制御の推論を可能にする2つの軽量モジュールを提案する。 私たちの知る限り、これはパッチベースのPDEサロゲートにおいて、推論時パッチサイズのチューニングを可能にする最初のフレームワークです。
  論文  参考訳（メタデータ） (2025-07-12T12:16:04Z)
• Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
  微調整された大規模な基礎モデルは、計算コストを禁ずる。 微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。 本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T05:03:29Z)
• Unpacking Positional Encoding in Transformers: A Spectral Analysis of Content-Position Coupling [10.931433906211534]
  ポジショナルエンコーディング(PE)は、トランスフォーマーがシーケンシャルな構造をモデル化できるようにするために不可欠である。 本稿では,Toeplitzと関連する行列のスペクトル特性からPEを解析する統一フレームワークを提案する。 我々は, PE設計の鍵となる原理として, 相対配置Toeplitz信号を用いた明示的コンテンツ相対混合を確立する。
  論文  参考訳（メタデータ） (2025-05-19T12:11:13Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。