論文の概要: Context Is What You Need: The Maximum Effective Context Window for Real World Limits of LLMs

• arxiv url: http://arxiv.org/abs/2509.21361v1
• Date: Sun, 21 Sep 2025 14:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.869694
• Title: Context Is What You Need: The Maximum Effective Context Window for Real World Limits of LLMs
• Title（参考訳）: コンテキストは必要なもの: LLMの実世界限界に最適なコンテキストウィンドウ
• Authors: Norman Paulsen,
• Abstract要約: 大規模言語モデルにおけるコンテキストウィンドウの現実的利用をテストする。 報告した最大コンテキストウィンドウ (MCW) サイズと最大有効コンテキストウィンドウ (MECW) サイズを比較した。 我々のデータは、提供された問題の種類に基づいて、最大有効コンテキストウィンドウシフトを明らかにします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language model (LLM) providers boast big numbers for maximum context window sizes. To test the real world use of context windows, we 1) define a concept of maximum effective context window, 2) formulate a testing method of a context window's effectiveness over various sizes and problem types, and 3) create a standardized way to compare model efficacy for increasingly larger context window sizes to find the point of failure. We collected hundreds of thousands of data points across several models and found significant differences between reported Maximum Context Window (MCW) size and Maximum Effective Context Window (MECW) size. Our findings show that the MECW is, not only, drastically different from the MCW but also shifts based on the problem type. A few top of the line models in our test group failed with as little as 100 tokens in context; most had severe degradation in accuracy by 1000 tokens in context. All models fell far short of their Maximum Context Window by as much as 99 percent. Our data reveals the Maximum Effective Context Window shifts based on the type of problem provided, offering clear and actionable insights into how to improve model accuracy and decrease model hallucination rates.
• Abstract（参考訳）: 大規模言語モデル(LLM)プロバイダは、最大コンテキストウィンドウサイズに対して大きな数値を誇っている。 コンテキストウィンドウの現実的利用をテストするには 1)最大有効コンテキストウィンドウという概念を定義する。 2 各種サイズ及び問題種別における文脈窓の有効性の検査方法を定式化し、 3) 失敗点を見つけるために、より大きなコンテキストウィンドウサイズに対するモデルの有効性を比較するための標準化された方法を作成する。 複数のモデルにまたがって数十万のデータポイントを収集し、報告された最大コンテキストウィンドウ(MCW)サイズと最大有効コンテキストウィンドウ(MECW)サイズの間に大きな違いがあることを発見した。 以上の結果から,MECWはMCWと大きく異なるだけでなく,問題の種類によっても変化していることがわかった。 テストグループのラインモデルのいくつかのトップは、100トークンのコンテキストで失敗しました。 すべてのモデルは、最大コンテキストウィンドウの99%をはるかに下回った。 我々のデータでは、与えられた問題の種類に基づいて、最大有効コンテキストウィンドウシフトを明らかにし、モデル精度の向上とモデル幻覚率の低下に関する明確で実用的な洞察を提供する。

関連論文リスト

• MSWA: Refining Local Attention with Multi-ScaleWindow Attention [14.481768894355522]
  スライディングウィンドウアテンション(SWA)は、固定サイズのローカルコンテキストウインドウにアテンション範囲を制限することでこの問題を解決する。 トランスフォーマーの頭と層に多様なウィンドウサイズを適用したマルチスケールウィンドウアテンション(MSWA)を提案する。 同じ層内のヘッド間で異なるウィンドウサイズを可能にするだけでなく、浅い層から深い層へのウィンドウサイズ割り当てを徐々に増加させ、モデルが異なる長さと距離でコンテキスト情報をキャプチャできるようにする。
  論文  参考訳（メタデータ） (2025-01-02T03:41:32Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• YaRN: Efficient Context Window Extension of Large Language Models [1.024113475677323]
  RoPE(Rotary Position Embeddings)は、トランスフォーマーベースの言語モデルにおいて、位置情報を効果的に符号化する。 本稿では,そのようなモデルのコンテキストウィンドウを拡張する計算効率の高いYarnを提案する。 LLaMAモデルは,従来の事前学習が許すよりもはるかに長い文脈長を効果的に活用し,外挿することができることを示す。
  論文  参考訳（メタデータ） (2023-08-31T18:18:07Z)
• Parallel Context Windows for Large Language Models [52.965170346907904]
  本稿では,PCW(Parallel Context Windows)について述べる。 本研究の主な成果は,7億5000万から1億7800億のパラメータのモデルを用いて,テキスト内学習におけるPCWアプローチを検証した。 長いコンテキストウインドウが有益であるかもしれない他の設定では、マルチホップ質問と検索強化質問が複数の検索された文書で答えられる。
  論文  参考訳（メタデータ） (2022-12-21T11:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。