論文の概要: Context Is What You Need: The Maximum Effective Context Window for Real World Limits of LLMs
- arxiv url: http://arxiv.org/abs/2509.21361v1
- Date: Sun, 21 Sep 2025 14:38:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:53.869694
- Title: Context Is What You Need: The Maximum Effective Context Window for Real World Limits of LLMs
- Title（参考訳）: コンテキストは必要なもの: LLMの実世界限界に最適なコンテキストウィンドウ
- Authors: Norman Paulsen,
- Abstract要約: 大規模言語モデルにおけるコンテキストウィンドウの現実的利用をテストする。
報告した最大コンテキストウィンドウ (MCW) サイズと最大有効コンテキストウィンドウ (MECW) サイズを比較した。
我々のデータは、提供された問題の種類に基づいて、最大有効コンテキストウィンドウシフトを明らかにします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language model (LLM) providers boast big numbers for maximum context window sizes. To test the real world use of context windows, we 1) define a concept of maximum effective context window, 2) formulate a testing method of a context window's effectiveness over various sizes and problem types, and 3) create a standardized way to compare model efficacy for increasingly larger context window sizes to find the point of failure. We collected hundreds of thousands of data points across several models and found significant differences between reported Maximum Context Window (MCW) size and Maximum Effective Context Window (MECW) size. Our findings show that the MECW is, not only, drastically different from the MCW but also shifts based on the problem type. A few top of the line models in our test group failed with as little as 100 tokens in context; most had severe degradation in accuracy by 1000 tokens in context. All models fell far short of their Maximum Context Window by as much as 99 percent. Our data reveals the Maximum Effective Context Window shifts based on the type of problem provided, offering clear and actionable insights into how to improve model accuracy and decrease model hallucination rates.
- Abstract（参考訳）: 大規模言語モデル(LLM)プロバイダは、最大コンテキストウィンドウサイズに対して大きな数値を誇っている。
コンテキストウィンドウの現実的利用をテストするには
1)最大有効コンテキストウィンドウという概念を定義する。
2 各種サイズ及び問題種別における文脈窓の有効性の検査方法を定式化し、
3) 失敗点を見つけるために、より大きなコンテキストウィンドウサイズに対するモデルの有効性を比較するための標準化された方法を作成する。
複数のモデルにまたがって数十万のデータポイントを収集し、報告された最大コンテキストウィンドウ(MCW)サイズと最大有効コンテキストウィンドウ(MECW)サイズの間に大きな違いがあることを発見した。
以上の結果から,MECWはMCWと大きく異なるだけでなく,問題の種類によっても変化していることがわかった。
テストグループのラインモデルのいくつかのトップは、100トークンのコンテキストで失敗しました。
すべてのモデルは、最大コンテキストウィンドウの99%をはるかに下回った。
我々のデータでは、与えられた問題の種類に基づいて、最大有効コンテキストウィンドウシフトを明らかにし、モデル精度の向上とモデル幻覚率の低下に関する明確で実用的な洞察を提供する。
関連論文リスト
- Test-Time Computing for Referring Multimodal Large Language Models [143.49848714354698]
そこで我々は,新しいテスト時間適応フレームワークである ControlMLLM++ を提案する。
学習可能な視覚的プロンプトを凍ったマルチモーダルな大言語モデルに注入する。
論文 参考訳（メタデータ） (2026-02-23T04:42:10Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳（メタデータ） (2025-07-17T18:56:41Z) - MSWA: Refining Local Attention with Multi-ScaleWindow Attention [14.481768894355522]
スライディングウィンドウアテンション(SWA)は、固定サイズのローカルコンテキストウインドウにアテンション範囲を制限することでこの問題を解決する。
トランスフォーマーの頭と層に多様なウィンドウサイズを適用したマルチスケールウィンドウアテンション(MSWA)を提案する。
同じ層内のヘッド間で異なるウィンドウサイズを可能にするだけでなく、浅い層から深い層へのウィンドウサイズ割り当てを徐々に増加させ、モデルが異なる長さと距離でコンテキスト情報をキャプチャできるようにする。
論文 参考訳（メタデータ） (2025-01-02T03:41:32Z) - Exploring the Design Space of Visual Context Representation in Video MLLMs [102.11582556690388]
ビデオマルチモーダル大言語モデル(MLLM)は、様々な下流タスクでビデオセマンティクスを理解する際、顕著な能力を示した。
ビジュアルコンテキスト表現は、ビデオからフレームを選択し、フレームからトークンを更に選択するスキームを指す。
本稿では,視覚的文脈表現のための設計空間について検討し,より効率的な表現方式を見出すことにより,映像MLLMの性能向上を目指す。
論文 参考訳（メタデータ） (2024-10-17T15:59:52Z) - Evaluating Language Model Context Windows: A "Working Memory" Test and Inference-time Correction [10.428174043080622]
大規模言語モデルは現実世界のアプリケーションで顕著に使われ、しばしば大量の文書を推論する。
本稿では,標準テストの限界に対処する評価フレームワークであるSWiMを提案する。
また,この効果を緩和する,単純かつ効果的なトレーニングフリーアプローチであるメドイド投票を提案する。
論文 参考訳（メタデータ） (2024-07-04T05:46:20Z) - Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning [68.43706033424378]
本研究では,大規模言語モデル(MLLM)において,テキスト中のテキスト長を効率的に向上する革新的な手法を提案する。
視覚トークンを用いて長文のテキストを処理するビジュアルインコンテキストテキスト処理(VisInContext)を提案する。
この技術は、トレーニングおよび推論段階の両方において、GPUメモリ使用率と浮動小数点演算(FLOP)を大幅に削減する。
論文 参考訳（メタデータ） (2024-06-04T17:59:25Z) - CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。
以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。
このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-21T08:21:12Z) - Application of frozen large-scale models to multimodal task-oriented
dialogue [0.0]
既存のLarge Language Models ENnhanced to See Framework(LENS Framework)を使用して、マルチモーダルタスク指向対話の実現可能性をテストする。
LENS Frameworkは、追加のトレーニングや事前訓練されたモデルの固定パラメータなしでコンピュータビジョンタスクを解く方法として提案されている。
論文 参考訳（メタデータ） (2023-10-02T01:42:28Z) - YaRN: Efficient Context Window Extension of Large Language Models [1.024113475677323]
RoPE(Rotary Position Embeddings)は、トランスフォーマーベースの言語モデルにおいて、位置情報を効果的に符号化する。
本稿では,そのようなモデルのコンテキストウィンドウを拡張する計算効率の高いYarnを提案する。
LLaMAモデルは,従来の事前学習が許すよりもはるかに長い文脈長を効果的に活用し,外挿することができることを示す。
論文 参考訳（メタデータ） (2023-08-31T18:18:07Z) - Parallel Context Windows for Large Language Models [52.965170346907904]
本稿では,PCW(Parallel Context Windows)について述べる。
本研究の主な成果は,7億5000万から1億7800億のパラメータのモデルを用いて,テキスト内学習におけるPCWアプローチを検証した。
長いコンテキストウインドウが有益であるかもしれない他の設定では、マルチホップ質問と検索強化質問が複数の検索された文書で答えられる。
論文 参考訳（メタデータ） (2022-12-21T11:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。