論文の概要: You don't need long context

• arxiv url: http://arxiv.org/abs/2611.05306v1
• Date: Tue, 03 Nov 2026 18:17:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:00:35.640952
• Title: You don't need long context
• Title（参考訳）: 長い文脈は必要ない
• Abstract要約: 短いコンテキストを維持する際に、フロンティア言語モデルはタスクの正確さをほとんど、あるいは全く犠牲にしないことを示す。 本研究は,長文言語モデルの必要性を問うものである。
• 参考スコア（独自算出の注目度）: 44.81544163473976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Later tokens are costlier to generate than earlier tokens. On frontier open weight models, the disparity in cost may rise to as much as 7x. Through frequent compaction, we show across a broad range of long-horizon and long-input tasks that frontier language models sacrifice little to no task accuracy when maintaining short contexts. We further demonstrate that LLM performance does not collapse on long-horizon software engineering tasks even when taking at most one action per context, and based on that we outline the concept of semantic state space models (SSSMs). Our findings question the need for long-context language models.
• Abstract（参考訳）: 後のトークンは、以前のトークンよりもコストがかかる。 フロンティアのオープンウェイトモデルでは、コストの格差は最大で7倍になる可能性がある。 頻繁なコンパクト化を通じて、フロンティア言語モデルでは、短いコンテキストを維持する際にタスクの精度をほとんど、あるいは全く犠牲にしないような、幅広い長水平および長入力タスクを示す。 さらに、LLMの性能が、コンテキスト毎に1つのアクションを多く取る場合でも、長期のソフトウェアエンジニアリングタスクで損なわれることはないことを実証し、それに基づいて意味状態空間モデル(SSSM)の概念を概説する。 本研究は,長文言語モデルの必要性を問うものである。

関連論文リスト

• Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench [6.490490294075993]
  大規模言語モデル評価のためのベンチマークとしてPredicateLongBenchを提案する。 それは、与えられた述語/制約を満たす長い入力において、最も長い連続した単語列を特定するようモデルに求める。 私たちは、フロンティアモデルが、軸に沿ったタスクの難しさをスケールアップする上で、パフォーマンスに苦労していることに気付きました。
  論文  参考訳（メタデータ） (2026-07-09T09:28:06Z)
• Too Long, Didn't Model: Decomposing LLM Long-Context Understanding With Novels [3.537369004801589]
  Too Long, Didn't Modelベンチマークをリリースしました。 プロットサマリー、ストーリーワールド構成、経過したストーリータイムを報告するモデルの能力をテストする。 テストされた7つのフロンティアLSMのうち、64kトークン以上の安定な理解は得られていない。
  論文  参考訳（メタデータ） (2025-05-20T21:21:09Z)
• Needle Threading: Can LLMs Follow Threads through Near-Million-Scale Haystacks? [36.83397306207386]
  我々は17大言語モデル(LLM)の能力を評価する。 興味深いことに、多くのモデルは驚くほどスレッドセーフで、パフォーマンスに大きな損失を被ることなく、同時に複数のスレッドをフォローできる。 有効なコンテキスト制限はサポート対象のコンテキスト長よりも大幅に短く,コンテキストウィンドウが大きくなるにつれて精度が低下することがわかった。
  論文  参考訳（メタデータ） (2024-11-07T18:59:27Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  我々は,大規模言語モデル(LLM)を複雑で拡張された物語で評価するためのベンチマークであるNovellQAを紹介する。 NovelQAは、複雑さ、長さ、物語のコヒーレンスをユニークなブレンドとして提供し、深いテキスト理解を評価するのに理想的なツールである。 ノベルQAにおける長文LLMの評価は,長文LLMの長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文の長文長文長文長文長文の長文
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)
• LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding [58.20031627237889]
  LongBenchは、コンテキスト理解のための最初のバイリンガルでマルチタスクのベンチマークである。 英語と中国語の6つのタスクカテゴリにまたがる21のデータセットで構成され、平均的な長さは6,711語(英語)と13,386文字(中国語)である。
  論文  参考訳（メタデータ） (2023-08-28T11:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。