Fugu-MT 論文翻訳(概要): Periscope: Extending Frozen Language Models Beyond Their Context Window

論文の概要: Periscope: Extending Frozen Language Models Beyond Their Context Window

arxiv url: http://arxiv.org/abs/2610.04047v1
Date: Fri, 02 Oct 2026 20:52:06 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-06 20:25:42.079234
Title: Periscope: Extending Frozen Language Models Beyond Their Context Window
Title（参考訳）: Periscope: コンテキストウィンドウを超えて凍結した言語モデルを拡張する
Abstract要約: 言語モデルは、1つの二次フォワードパスで長いテキストを読み、コンテキストウィンドウで停止し、それに到達する前に正確さを失う。有限集合を決定する際に、読み出しを分解できるかどうかを問う。 Periscopeは$KtimesK$グリッド上のテキストの$N$チャンクを$K=lceilsqrtNrceil$でアレンジし、同じ質問でフリーズモデルに尋ねる。
参考スコア（独自算出の注目度）: 3.3830567744123723
License:
Abstract: A language model reads long text in one quadratic forward pass, stops at the context window, and loses accuracy with length before reaching it. We ask whether the read can be factorized when deciding over a finite set: which document is relevant, which option is supported, which passage is the evidence. Periscope, a training-free inference method, arranges the $N$ chunks of a text on a $K{\times}K$ grid with $K{=}\lceil\sqrt{N}\rceil$ and asks a frozen model the same question about $K$ local spans of consecutive chunks and $K$ strided spans that sample the whole text, reading the log-odds of every answer at one token. Each answer takes its best local and strided score, and scoring every chunk by its two spans gives an evidence map at no further cost, whose peak is the chunk behind the answer. Every probe is about $\sqrt{sc}$ tokens for a text of $s$ tokens and chunk size $c$, so a window of $W$ tokens reaches $W^{2}/c$ tokens at $s^{1.5}$ cost. The map replaces the long read. On LongBench v2, reading only the $K$ chunks the map ranks highest, 9k tokens, matches the same model's best window read across windows from 32k to 1M tokens, and on InfiniteBench, where the median context is 150k tokens, it leads the best window read by 5 points. The same map ranks BRIGHT's long-document corpora with the best NDCG@10 of six methods. Each call caches only one probe, so a 27B model reads 4.5M-token contexts on one 80GB GPU, where a single pass would need 296GB of cache. A long read then needs a GPU that holds the model, not one that holds the text.
Abstract（参考訳）: 言語モデルは、1つの二次フォワードパスで長いテキストを読み、コンテキストウィンドウで停止し、それに到達する前に正確さを失う。有限集合を決定する際に、どの文書が関連するか、どのオプションがサポートされているか、どの文が証拠か、を判断できるかどうかを問う。 K{=}\lceil\sqrt{N}\rceil$でテキストのN$チャンクを$K{=}\lceil\sqrt{N}\rceil$でアレンジし、凍結したモデルに対して、連続チャンクのK$ローカルスパンと$K$ストリップされたスパンについて同じ質問を行い、テキスト全体をサンプリングし、すべての回答のログを1つのトークンで読み取る。それぞれの答えは、ベストのローカルスコアとストレートスコアを受け取り、2つのスパンですべてのチャンクをスコア付けすると、さらにコストがかからないエビデンスマップが得られ、そのピークが答えの裏のチャンクである。すべてのプローブは$s$トークンとチャンクサイズ$c$のテキストに対して$\sqrt{sc}$トークンであるので、$W$トークンのウィンドウは$s^{1.5}$コストで$W^{2}/c$トークンに達する。地図は長い読みに取って代わる。 LongBench v2では、K$チャンクのみを読み、マップの最高ランク、9kトークン、32kトークンから1Mトークンまで、同じモデルのベストウィンドウと一致し、InfiniteBenchでは、中央のコンテキストが150kトークンであるため、ベストウィンドウは5ポイントリードする。同じ地図はBRIGHTの長文書コーパスを6つの方法の中で最高のNDCG@10と位置づけている。各コールキャッシュは1つのプローブのみで、27Bモデルは1つの80GB GPU上で4.5Mのコンテキストを読み込む。長い読み込みでは、モデルを保持するGPUが必要で、テキストを保持するGPUは必要ありません。

論文の概要: Periscope: Extending Frozen Language Models Beyond Their Context Window

関連論文リスト