論文の概要: Context Is Not Comprehension

• arxiv url: http://arxiv.org/abs/2506.04907v4
• Date: Thu, 12 Jun 2025 02:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 13:18:14.119823
• Title: Context Is Not Comprehension
• Title（参考訳）: コンテキストは理解できない
• Authors: Alex Pan, Mary-Anne Williams,
• Abstract要約: 私たちは、物語のカモフラージュの中に決定論的リストOps計算を埋め込んだベンチマークであるVerbose ListOpsを紹介します。 実験の結果、生のListOpsを約100%精度で解決するモデルは、わずか1万トークンの後にVLOで崩壊することがわかった。
• 参考スコア（独自算出の注目度）: 0.6445605125467572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dominant way of judging Large Language Models (LLMs) has been to ask how well they can recall explicit facts from very long inputs. While today's best models achieve near perfect recall, this masks a harder skill: performing multi-step reasoning and tracking intermediate state that never appears verbatim. We introduce Verbose ListOps (VLO), a benchmark that embeds deterministic ListOps computations inside narrative camouflage and, crucially, allows step-level evaluation of every intermediate result. Experiments show that models which solve raw ListOps with approximately 100% accuracy collapse on VLO after only 10,000 tokens. By exposing where a model's reasoning chain first diverges, VLO moves assessment beyond sheer context length and toward genuine comprehension. VLO's generation pipeline is task-agnostic: it can weave any deterministically verifiable reasoning schema -- arithmetic, symbolic, abductive, inductive or defeasible -- into narrative form. This makes VLO a reusable test-bed for the next wave of reasoning-centric model designs, not merely those with step-explicit scaffolds.
• Abstract（参考訳）: LLM(Large Language Models)を判断する主要な方法は、非常に長い入力から明示的な事実をいかにうまく呼び起こせるかを問うことである。 今日の最高のモデルは、ほぼ完璧なリコールを達成するが、これは難しいスキルである: マルチステップの推論を実行し、決して冗長に見えない中間状態を追跡する。 Verbose ListOps (VLO) は、物語のカモフラージュの中に決定論的リストOps計算を埋め込んだベンチマークであり、重要なことに、すべての中間結果の段階的な評価を可能にする。 実験の結果、生のListOpsを約100%精度で解決するモデルは、わずか1万トークンの後にVLOで崩壊することがわかった。 モデルの推論チェーンが最初に発散する場所を明らかにすることで、VLOはコンテキストの長さを超越し、真の理解に向けてアセスメントを移動させる。 VLOの生成パイプラインはタスクに依存しない: 決定論的に検証可能な推論スキーマ -- 算術、記号、帰納的、帰納的、帰納的、あるいは無効 -- を、物語形式に織り込むことができる。 これによりVLOは、ステップ明示的な足場を持つだけでなく、推論中心のモデル設計の次の波に対する再利用可能なテストベッドとなる。

関連論文リスト

• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• GSM-Infinite: How Do Your LLMs Behave over Infinitely Increasing Context Length and Reasoning Complexity? [37.399561533852506]
  微粒化制御下での難易度と文脈長を無限に低減した算術問題を生成することができる小学校数学問題生成装置を開発した。 複雑性が増大するにつれて、推論性能が一貫したシグマノイドの低下と、体系的な推論スケーリングの傾向が見られます。
  論文  参考訳（メタデータ） (2025-02-07T17:05:25Z)
• Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding [28.191029786204624]
  大規模言語モデル(LLM)の性能向上を目的としたLong Question Coreference Adaptation (LQCA) 手法を提案する。 このフレームワークは、長いコンテキストに合わせて調整されたコア参照解決に焦点を当てており、モデルが参照を効果的に識別し、管理することができる。 私たちのコードはhttps://github.com/OceannTwT/LQCA.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-02T15:39:55Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  我々は,大規模言語モデル(LLM)を複雑で拡張された物語で評価するためのベンチマークであるNovellQAを紹介する。 NovelQAは、複雑さ、長さ、物語のコヒーレンスをユニークなブレンドとして提供し、深いテキスト理解を評価するのに理想的なツールである。 ノベルQAにおける長文LLMの評価は,長文LLMの長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文の長文長文長文長文長文の長文
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Self-Refinement [6.035020544588768]
  イベント引数抽出(EAE)は、あるイベントのロール固有のテキストスパン(例えば、引数)を特定するタスクである。 本稿では,イベントの議論をよりコスト効率よく抽出する階層的枠組みを提案する。 議論の正確な境界を求める際に, LLM が直面する課題に対処するために LEAFER を導入する。
  論文  参考訳（メタデータ） (2024-01-24T04:13:28Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。