論文の概要: Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling

• arxiv url: http://arxiv.org/abs/2606.27705v1
• Date: Fri, 26 Jun 2026 04:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.366808
• Title: Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling
• Title（参考訳）: 層状位置埋め込みスケーリングによる変圧器の位置バイアスの緩和
• Abstract要約: 本稿では,各層に異なるスケーリング因子を割り当てる,層固有の位置埋め込みスケーリング(LPES)手法を提案する。 LPESは、モデルパラメータを微調整したり、推論遅延を増大させることなく、よりバランスの取れた注意分布を実現する。 実験により、LPESは位置注意バイアスを効果的に軽減し、複数の長文ベンチマークで一貫した改善をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 47.23122393772321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) still struggle with the ``lost-in-the-middle'' problem, where critical information located in the middle of long-context inputs is often underrepresented or lost. While existing methods attempt to address this by combining multi-scale rotary position embeddings (RoPE), they typically suffer from high latency or rely on suboptimal hand-crafted scaling strategies. To overcome these limitations, we introduce a layer-specific positional embedding scaling~(LPES) method that assigns distinct scaling factors to each layer. LPES achieves a more balanced attention distribution without fine-tuning model parameters or increasing inference delay. A specially designed genetic algorithm is employed to efficiently select the optimal scaling factors for each layer by incorporating Bézier curves to significantly reduce the search space. Extensive experiments demonstrate that LPES effectively mitigates positional attention bias and delivers consistent improvements across multiple long-context benchmarks, yielding up to an $11.2$\% accuracy gain on the key-value retrieval dataset.
• Abstract（参考訳）: 大きな言語モデル (LLMs) は、長文入力の途中で重要な情報が不足したり、失われたりするような 'lost-in-the-middle'' 問題に苦慮している。 既存の手法では、マルチスケールの回転位置埋め込み(RoPE)を組み合わせることでこの問題に対処しようとするが、一般的にはレイテンシが高いか、あるいは手作業による手作業によるスケーリング戦略に依存している。 これらの制限を克服するために、各層に異なるスケーリング要素を割り当てる層固有の位置埋め込みスケーリング~(LPES)手法を導入する。 LPESは、モデルパラメータを微調整したり、推論遅延を増大させることなく、よりバランスの取れた注意分布を実現する。 特別に設計された遺伝的アルゴリズムを用いて、ベジエ曲線を組み込んで各層の最適スケーリング係数を効率的に選択し、探索空間を大幅に削減する。 大規模な実験により、LPESは位置注意バイアスを効果的に軽減し、複数の長文ベンチマークで一貫した改善を実現し、キー値検索データセットで最大11.2$\%の精度向上をもたらすことが示されている。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• OTARo: Once Tuning for All Precisions toward Robust On-Device LLMs [21.55040910903597]
  OTARoはデバイス上の大規模言語モデルで量子化精度を柔軟に切り替えることができる新しい手法である。 すべての精度で一貫して強固で堅牢なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-17T08:56:27Z)
• Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs [17.499497967319332]
  データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。 DHSAは高い注意力と精度を一致させ、プリフィル遅延を20-60%削減し、ピークメモリ使用量を35%削減した。 Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20～60%,ピークメモリ使用量は35%削減された。
  論文  参考訳（メタデータ） (2025-10-28T16:34:18Z)
• The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs [40.35884943268004]
  非常に長いシーケンスでは、より大きくスパースなモデルの方が小さくて密度の高いモデルよりも好ましいことを示す。 タスクやフェーズをまたいでベストを尽くす明確な戦略は存在しません。 本研究は, 厳密な注意を喚起するための新しいスケーリング法を導入し, 検証し, 実験範囲を超えている可能性が示唆された。
  論文  参考訳（メタデータ） (2025-04-24T17:39:25Z)
• Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling [26.310612987107813]
  大規模言語モデルは、文脈の中央にある重要な情報が不足したり、失われたりする、という「中間者」の問題に悩まされる。 本稿では,各層に異なるスケーリング要素を割り当てるレイヤ固有の位置符号化スケーリング手法を提案する。 提案手法により,Key-Value Retrievalデータセットの平均精度は最大20%向上した。
  論文  参考訳（メタデータ） (2025-03-06T11:59:55Z)
• Generalized EXTRA stochastic gradient Langevin dynamics [6.899153618328339]
  ランゲヴィンアルゴリズムは、ベイズ学習のためのマルコフ・チェイン・モンテカルロ法(Markov Chain Monte Carlo method)として人気がある。 Langevin dynamics (SGLD)のような彼らのバージョンは、ランダムにサンプリングされたミニバッチに基づいた反復学習を可能にする。 通信とプライバシーの制約を受けるエージェントのネットワークでデータが分散化されると、標準のSGLDアルゴリズムは適用できない。
  論文  参考訳（メタデータ） (2024-12-02T21:57:30Z)
• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。