論文の概要: Where Position Matters: Profiling-Guided Layer-Wise RoPE Allocation in Transformers

• arxiv url: http://arxiv.org/abs/2610.39223v1
• Date: Thu, 29 Oct 2026 02:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.449974
• Title: Where Position Matters: Profiling-Guided Layer-Wise RoPE Allocation in Transformers
• Title（参考訳）: 変圧器のプロファイリングガイドによる層状回転体の位置決め
• Abstract要約: RoPE(Rotary Position Embedding)は、不均一な位置要求にもかかわらず、トランスフォーマー層全体の均一なカバレッジを使用するのが一般的である。 フェーズオフ介入は、非一様でモデル固有の回転相依存性を示すが、カバレッジ介入は、カバレッジアップグレードの利点に関連する。 本稿では,早期のカバレッジ・ベネフィットプロファイルを用いて,固定予算の下で高い/低いカバレッジを割り当てる,プロファイリング誘導層型RoPEアロケーションを提案する。
• 参考スコア（独自算出の注目度）: 10.121955622961224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rotary Position Embedding (RoPE) typically uses uniform coverage across Transformer layers despite heterogeneous positional requirements. Phase-off interventions reveal non-uniform, model-specific rotary-phase dependence, while coverage interventions relate it to coverage-upgrade benefits. We propose profiling-guided layer-wise RoPE allocation, assigning high/low coverage under a fixed budget using early coverage-benefit profiles. The framework supports fixed-width query/key representations and physical rotary-dimension allocation in Multi-head Latent Attention (MLA). Normalized-depth mapping transfers profiles within model families, enabling small-model measurements to guide larger-model allocations before pretraining. A brief analysis relates selection and transfer to score calibration and inter-layer interactions. From-scratch experiments demonstrate validation-loss improvements over available budget-matched baselines, while analytical resource accounting identifies favorable quality--storage--compute trade-offs for physical MLA. These results connect positional demand to transferable, efficient architecture design.
• Abstract（参考訳）: RoPE(Rotary Position Embedding)は、不均一な位置要求にもかかわらず、トランスフォーマー層全体の均一なカバレッジを使用するのが一般的である。 フェーズオフ介入は、非一様でモデル固有の回転相依存性を示すが、カバレッジ介入は、カバレッジアップグレードの利点に関連する。 本稿では,早期のカバレッジ・ベネフィットプロファイルを用いて,固定予算の下で高い/低いカバレッジを割り当てる,プロファイリング誘導層型RoPEアロケーションを提案する。 このフレームワークは、MLA(Multi-head Latent Attention)における固定幅クエリ/キー表現と物理回転次元割り当てをサポートする。 正規化深度マッピングはモデルファミリ内のプロファイルを転送する。 簡単な分析は、スコアキャリブレーションと層間相互作用に対する選択と転送に関するものである。 オフスクラッチ実験は、利用可能な予算整合ベースラインよりも検証と損失の改善を実証する一方、分析的資源会計は、物理的MLAに対する好ましい品質-ストレージ-計算的トレードオフを識別する。 これらの結果は、位置要求を伝達可能で効率的なアーキテクチャ設計に結びつける。

関連論文リスト

• COMPASS: Contextual Moment Prior Alignment for Generalizable AIGI Detection [87.91469665365304]
  一般化可能なAI生成画像(AIGI)とディープフェイク検出は、非対称性現象のため難しいままである。 最近の部分空間適応法は、残留部分空間を適応させながら高次主成分を凍結することによりこの問題を軽減する。 本稿では,小さなSemantic Proxy Setを用いて,ターゲットのアクティベーション統計を推定するデータ認識サブスペース適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-13T09:23:12Z)
• Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models [3.060720241524644]
  フルモデルファインチューニングはパラメータ集約的であるが、ローランク適応(LoRA)はトレーニング可能なパラメータの数を減少させる。 パラメータ効率の良いゲート法であるDiffu-LoRAを導入し、低ランク適応によりこのアロケーションを学習する。
  論文  参考訳（メタデータ） (2026-09-24T16:57:09Z)
• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling [47.23122393772321]
  本稿では,各層に異なるスケーリング因子を割り当てる,層固有の位置埋め込みスケーリング(LPES)手法を提案する。 LPESは、モデルパラメータを微調整したり、推論遅延を増大させることなく、よりバランスの取れた注意分布を実現する。 実験により、LPESは位置注意バイアスを効果的に軽減し、複数の長文ベンチマークで一貫した改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-06-26T04:07:41Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
  本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。 モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
  論文  参考訳（メタデータ） (2026-05-16T12:01:04Z)
• Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
  階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。 そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。 本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-02T18:07:55Z)
• Directional Gradient Projection for Robust Fine-Tuning of Foundation Models [25.04763038570959]
  ディディショナル・グラディエント・プロジェクション(DiGraP)は、グラデーションからブリッジの正規化や多目的最適化に至るまでの方向性情報を階層的に学習可能な手法である。 まず,画像分類による視覚質問回答 (VQA) ベンチマークの分析により,一様・多モードのギャップを埋める。 実験結果から,DiGraPは画像分類やVQAタスクにおいて,識別的,生成的バックボーンで既存のベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2025-02-21T19:31:55Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
  本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。