Fugu-MT 論文翻訳(概要): Content-Based Addressing for Long Context

論文の概要: Content-Based Addressing for Long Context

arxiv url: http://arxiv.org/abs/2609.07314v2
Date: Sun, 13 Sep 2026 21:15:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:04.568969
Title: Content-Based Addressing for Long Context
Title（参考訳）: 長期コンテキストのためのコンテンツベースのアドレス処理
Abstract要約: RoPE(Rotary position embedded)は、各トークンの整数位置を用いて、注意の中に適用される回転を決定する。これは、ローカルトークンの順序でうまく機能するが、コンテキスト長の増大は、位置的トレインテストのミスマッチを生成する。代わりにトークンストリームを単位に分割し、通常のRoPE位置を各単位内に保持し、そのコンテンツから計算されたアドレスを全ての完了単位に割り当てます。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Rotary position embedding (RoPE) uses each token's integer position to determine the rotation applied inside attention. This works well for local token order, but increasing context length creates a positional train-test mismatch: RoPE produces relative rotations at offsets not seen during training. Methods that rescale, interpolate, randomize, or bias positions specify how attention handles those offsets, but still derive positional information from a growing token counter. We instead divide a token stream into units, retain ordinary RoPE positions within each unit, and assign every completed unit an address computed from its content. Adding units then applies the same learned map to new content rather than extending a positional range or an identifier table. We prove that this construction preserves local RoPE exactly, leaves the attention comparison between two fixed tokens unchanged when other units are inserted or reordered, and does not create new relative rotations merely because more units are added. In a character-level Tiny Shakespeare diagnostic, all-token validation perplexity remains approximately constant from contexts of 256 to 4096 characters. A second diagnostic shows that content-based addressing can retrieve and use information from multiple serialized facts. These are controlled shallow experiments, not scale benchmarks, but they support a direct prescription: use position to address locally and content to address across units.
Abstract（参考訳）: RoPE(Rotary position embedded)は、各トークンの整数位置を用いて、注意の中に適用される回転を決定する。これは局所的なトークン順序でうまく機能するが、コンテキスト長の増大は、位置的トレインテストのミスマッチを生み出す: RoPEは、トレーニング中に見えないオフセットで相対的なローテーションを生成する。再スケール、補間、ランダム化、バイアス位置といった手法は、これらのオフセットをどのように扱うかを示すが、それでも成長するトークンカウンタから位置情報を導き出す。代わりにトークンストリームを単位に分割し、通常のRoPE位置を各単位内に保持し、そのコンテンツから計算されたアドレスを全ての完了単位に割り当てます。ユニットを追加すると、位置範囲や識別子テーブルを拡張するのではなく、新しいコンテンツに同じ学習されたマップが適用される。この構造は局所的な RoPE を正確に保存し、他のユニットが挿入されたり再注文されたりした場合に2つの固定トークン間の注意比較が変わらないことを証明し、より多くのユニットが加えられただけで新たな相対回転を発生させない。キャラクターレベルのティニー・シェイクスピアの診断では、256文字から4096文字の文脈からほぼ一定である。第2の診断は、コンテンツベースのアドレッシングが複数のシリアライズされた事実から情報を検索して利用することができることを示している。これらは、スケールベンチマークではなく、浅い実験で制御されているが、直接処方薬をサポートする: ローカルに対処する位置と、ユニット間で対処するコンテンツを使用する。

関連論文リスト

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling [3.3534582603188476]
我々は,正弦波および学習された絶対位置埋め込み,ショースタイルの相対位置表現,トランスフォーマーXL,T5相対位置バイアス,ALiBi,ロータリー位置埋め込み(RoPE)を統一的に記述する。次に、位置補間、RoPEスケーリング法、NTK対応スケーリング、動的NTK、NTK-by-parts、Yarn、LongRoPE、LongRoPE2などの長文拡張について検討する。中心的な結論は、トレーニング長を超える位置特徴を計算できることは、長期コンテキストの一般化を重要視しないということである。
論文参考訳（メタデータ） (2026-08-09T10:15:49Z)
RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
論文参考訳（メタデータ） (2026-06-09T09:56:50Z)
SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
論文参考訳（メタデータ） (2025-06-16T09:16:40Z)
Circle-RoPE: Cone-like Decoupled Rotary Positional Embedding for Large Vision-Language Models [49.122200327049676]
ロータリー位置埋め込み(RoPE)は,大規模言語モデルにおいて相対位置情報を符号化する手法として広く採用されている。視覚言語モデル(VLM)に拡張されると、RoPEとその変種はテキストと画像トークンの間で相対的な位置依存を強制する。本稿では,スパイラルなクロスモーダルバイアスを除去する新しい符号化方式であるCircle-RoPEを紹介する。
論文参考訳（メタデータ） (2025-05-22T09:05:01Z)
PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
論文参考訳（メタデータ） (2025-05-22T08:36:09Z)
Benchmarking Rotary Position Embeddings for Automatic Speech Recognition [17.360059094663182]
音声認識(ASR)において相対位置(RelPos)埋め込みが広く使われている対照的に、RoPE(Rotary Positional Embedding)は、各入力ベクトルをその絶対位置に基づいて回転させ、線形時間からシーケンスの長さを取る。この研究は、100から50,000時間に及ぶトレーニングデータを用いて、さまざまなASRタスクにわたるRoPEを評価する。
論文参考訳（メタデータ） (2025-01-10T15:30:46Z)
When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training [51.23520027773028]
コンテキストウィンドウサイズの拡張により、大きな言語モデルでは、より長いシーケンスを処理し、より複雑なタスクを処理できる。我々は,RoPEをBFloat16フォーマットで使用すると,数値的な問題が発生し,目的とする相対的位置エンコーディングから逸脱してしまうことを観察した。我々は,BFloat16による数値問題を軽減するプラグイン・アンド・プレイアテンション法であるAnchorAttentionを開発した。
論文参考訳（メタデータ） (2024-11-20T17:22:31Z)
Conformer-based End-to-end Speech Recognition With Rotary Position Embedding [11.428057887454008]
畳み込み強化変圧器(コンフォーマ)に回転位置埋め込み(RoPE)を導入する。 RoPEは、絶対位置情報を回転行列によって入力シーケンスにエンコードし、自然に明示的な相対位置情報を自己保持モジュールに組み込む。提案モデルでは,LbriSpeechコーパスの試験クリーンおよびテスト他のセットに対して,コンバータの単語誤り率を8.70%,コンバータの7.27%削減する。
論文参考訳（メタデータ） (2021-07-13T08:07:22Z)
RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
論文参考訳（メタデータ） (2021-04-20T09:54:06Z)
Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
論文参考訳（メタデータ） (2020-06-28T13:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。