論文の概要: Round and Round We Go! What makes Rotary Positional Encodings useful?

• arxiv url: http://arxiv.org/abs/2410.06205v1
• Date: Tue, 8 Oct 2024 17:07:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:41:07.202119
• Title: Round and Round We Go! What makes Rotary Positional Encodings useful?
• Title（参考訳）: ラウンド・アンド・ラウンド・ウィー・ゴー!ロータリー位置エンコーディングが便利になる理由
• Authors: Federico Barbero, Alex Vitvitskyi, Christos Perivolaropoulos, Razvan Pascanu, Petar Veličković,
• Abstract要約: メカニカルレベルでの RoPE の使用方法を理解するため, トレーニングされた Gemma 7B モデルの内部構造について検討した。 Gemma は,RoPE を用いて高周波数を利用してロバストな「位置的」アテンションパターンを構築することを学ぶ。 強調された問題を修正し、性能を向上するRoPEの修正を提案する。
• 参考スコア（独自算出の注目度）: 15.543752938828831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Positional Encodings (PEs) are a critical component of Transformer-based Large Language Models (LLMs), providing the attention mechanism with important sequence-position information. One of the most popular types of encoding used today in LLMs are Rotary Positional Encodings (RoPE), that rotate the queries and keys based on their relative distance. A common belief is that RoPE is useful because it helps to decay token dependency as relative distance increases. In this work, we argue that this is unlikely to be the core reason. We study the internals of a trained Gemma 7B model to understand how RoPE is being used at a mechanical level. We find that Gemma learns to use RoPE to construct robust "positional" attention patterns by exploiting the highest frequencies. We also find that, in general, Gemma greatly prefers to use the lowest frequencies of RoPE, which we suspect are used to carry semantic information. We mathematically prove interesting behaviours of RoPE and conduct experiments to verify our findings, proposing a modification of RoPE that fixes some highlighted issues and improves performance. We believe that this work represents an interesting step in better understanding PEs in LLMs, which we believe holds crucial value for scaling LLMs to large sizes and context lengths.
• Abstract（参考訳）: 位置エンコーディング(PE)は、トランスフォーマーベースの大規模言語モデル(LLM)の重要なコンポーネントであり、重要なシークエンス情報を持つ注意機構を提供する。 現在LLMで使われている最も一般的なエンコーディングの1つはRotary Positional Encodings (RoPE) である。 RoPEは相対距離が増加するにつれてトークン依存が崩壊するので有用であるという説が一般的である。 この研究では、これが中核的な理由になる可能性は低いと論じる。 メカニカルレベルでの RoPE の使用方法を理解するため, トレーニングされた Gemma 7B モデルの内部構造について検討した。 Gemma は,RoPE を用いて高周波数を利用してロバストな「位置的」アテンションパターンを構築することを学ぶ。 また、一般に、GemmaはRoPEの最低周波数を非常に好んでおり、セマンティックな情報を運ぶのに使われていると考えている。 我々は,RoPEの興味深い動作を数学的に証明し,その結果を検証する実験を行い,RoPEの修正を提案する。 この研究は、LLMのPEをより深く理解するための興味深いステップであると考えています。

関連論文リスト

• When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training [51.23520027773028]
  コンテキストウィンドウサイズの拡張により、大きな言語モデルでは、より長いシーケンスを処理し、より複雑なタスクを処理できる。 我々は,RoPEをBFloat16フォーマットで使用すると,数値的な問題が発生し,目的とする相対的位置エンコーディングから逸脱してしまうことを観察した。 我々は,BFloat16による数値問題を軽減するプラグイン・アンド・プレイアテンション法であるAnchorAttentionを開発した。
  論文  参考訳（メタデータ） (2024-11-20T17:22:31Z)
• Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective [35.947737679664016]
  本稿では,RoPE拡張の注意点から,直接的かつ詳細な理解を提供する。 RoPE拡張の長い継続事前トレーニング長を使用することで、注意の不確実性を低減し、外挿を著しく向上させることができる。
  論文  参考訳（メタデータ） (2024-06-19T07:23:33Z)
• Base of RoPE Bounds Context Length [37.11078116104313]
  回転位置埋め込み (RoPE) は、位置情報を回転行列で符号化する技法である。 本稿では, LLM が OOD 理論に基づく表層長文能力を得る可能性があることを明らかにする。 我々の研究は、文脈長とRoPEベースとの関係を理論的にも経験的にも明らかにし、将来の長期の文脈トレーニングに光を当てるかもしれない。
  論文  参考訳（メタデータ） (2024-05-23T14:03:31Z)
• Rotary Position Embedding for Vision Transformer [44.27871591624888]
  本研究では、視覚変換器(ViT)に適用した場合の回転位置埋め込み(RoPE)の包括的解析を提供する。 RoPEは印象的な補間性能、すなわち推論時の画像解像度を増大させながら精度を維持する。 最終的にImageNet-1k、COCO検出、ADE-20kセグメンテーションのパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2024-03-20T04:47:13Z)
• Feedback Loops With Language Models Drive In-Context Reward Hacking [78.9830398771605]
  フィードバックループがコンテキスト内報酬ハッキング(ICRH)を引き起こす可能性があることを示す。 ICRHに繋がる2つのプロセス、すなわちアウトプット・リファインメントとポリシー・リファインメントを同定し研究する。 AI開発が加速するにつれて、フィードバックループの効果が増大する。
  論文  参考訳（メタデータ） (2024-02-09T18:59:29Z)
• Scaling Laws of RoPE-based Extrapolation [103.33995311915864]
  基本値と外挿性能の関係を記述するために,RoPEに基づく外挿法におけるtextbftextitScaling法則を提案する。 LLaMA2 7Bと13Bで最大100万の文脈長を16Kのトレーニング長で達成した。
  論文  参考訳（メタデータ） (2023-10-08T15:50:36Z)
• The Impact of Positional Encoding on Length Generalization in Transformers [50.48278691801413]
  復号器のみの変圧器長一般化性能と5つの異なる位置符号化手法との比較を行った。 その結果,ALiBi,Rotary,APEなどの位置符号化法は,下流タスクにおける長さ一般化には適していないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T00:29:55Z)
• SPE-Net: Boosting Point Cloud Analysis via Rotation Robustness Enhancement [118.20816888815658]
  SPE-Netという名前の3Dポイントクラウドアプリケーションに適した新しいディープアーキテクチャを提案する。 埋め込みSelective Position variant' の手順は、入力の根底にある回転条件に効果的に対応できる注意機構に依存している。 SPE-Netと関連する仮説の利点を4つのベンチマークで示し、SOTA法よりも回転試験データと回転試験データの両方に明らかな改善点を示した。
  論文  参考訳（メタデータ） (2022-11-15T15:59:09Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。