論文の概要: Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs

• arxiv url: http://arxiv.org/abs/2512.07525v1
• Date: Mon, 08 Dec 2025 12:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.895593
• Title: Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs
• Title（参考訳）: 長期LLM用ロータリー・ポジション・エンベディングのImaginary Extension
• Authors: Xiaoran Liu, Yuerong Song, Zhigeng Liu, Zengfeng Huang, Qipeng Guo, Zhaoxiang Liu, Shiguo Lian, Ziwei He, Xipeng Qiu,
• Abstract要約: RoPE(Rotary Position Embeddings)は、大規模言語モデルにおけるシーケンスオーダの符号化の標準となっている。 標準実装では、注目スコア計算に複雑な値のドット積の実際のコンポーネントのみを利用する。 この想像的要素を再組み込む拡張を提案する。
• 参考スコア（独自算出の注目度）: 72.8830548005884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rotary Position Embeddings (RoPE) have become a standard for encoding sequence order in Large Language Models (LLMs) by applying rotations to query and key vectors in the complex plane. Standard implementations, however, utilize only the real component of the complex-valued dot product for attention score calculation. This simplification discards the imaginary component, which contains valuable phase information, leading to a potential loss of relational details crucial for modeling long-context dependencies. In this paper, we propose an extension that re-incorporates this discarded imaginary component. Our method leverages the full complex-valued representation to create a dual-component attention score. We theoretically and empirically demonstrate that this approach enhances the modeling of long-context dependencies by preserving more positional information. Furthermore, evaluations on a suite of long-context language modeling benchmarks show that our method consistently improves performance over the standard RoPE, with the benefits becoming more significant as context length increases. The code is available at https://github.com/OpenMOSS/rope_pp.
• Abstract（参考訳）: RoPE (Rotary Position Embeddings) は、複雑な平面のクエリやキーベクトルにローテーションを適用することで、Large Language Models (LLMs) のシーケンスオーダを符号化する標準となっている。 しかし、標準的な実装では、注目スコアの計算に複雑な値のドット積の実際のコンポーネントのみを利用する。 この単純化により、価値あるフェーズ情報を含む想像上のコンポーネントは破棄され、長いコンテキスト依存をモデル化するのに不可欠なリレーショナル詳細が失われる可能性がある。 本稿では,この廃棄された虚構部品を再組み込む拡張を提案する。 本手法は, 複素数値表現の完全化を利用して, 二重成分注目スコアを生成する。 理論的かつ実証的に、より位置情報を保存することにより、長文依存のモデリングが促進されることを実証する。 さらに,長期コンテキスト言語モデリングベンチマークを用いて評価した結果,提案手法は標準の RoPE よりも常に性能を向上し,コンテキスト長の増大とともにその利点がより重要になることが示された。 コードはhttps://github.com/OpenMOSS/rope_pp.comで公開されている。

関連論文リスト

• HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models [19.3827288035483]
  双曲型回転位置決め法を提案する。 トークン表現にローレンツ回転を実装するために双曲関数を利用する(HoPE)。 テストは、HoPEが既存の位置符号化手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-09-05T16:20:48Z)
• REFRAG: Rethinking RAG based Decoding [67.4862300145604]
  REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。 本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
  論文  参考訳（メタデータ） (2025-09-01T03:31:44Z)
• Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [44.685176786857284]
  データ、プロンプト、パラメータレベルの最適化を提供するフレームワークであるReLLaX(Retrieval-enhanced Large Language Model Plus)を提案する。 データレベルではSemantic User Behavior Retrieval (SUBR)を導入し、シーケンスの不均一性を低減し、LLMがキー情報を抽出しやすくする。 素早いレベル向上のために、我々はSPA(Soft Prompt Augmentation)を用いて協調的な知識を注入し、項目表現をレコメンデーションタスクと整合させる。 パラメータレベルでは、コンポーネント間の相互作用を有効にすることで、LoRAの表現性を向上するComponent Fully-Interactive LoRA(CFLoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T03:05:13Z)
• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。