論文の概要: LEAPS: Long-context Evaluation of Adaptive Pattern Learning and State Tracking

• arxiv url: http://arxiv.org/abs/2610.25919v1
• Date: Mon, 19 Oct 2026 07:19:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:42:58.676987
• Title: LEAPS: Long-context Evaluation of Adaptive Pattern Learning and State Tracking
• Title（参考訳）: LEAPS:適応型パターン学習と状態追跡の長期的コンテキスト評価
• Abstract要約: LEAPS(Long-context Evaluation of Adaptive Pattern Learning and State Tracking)は12種類の新しいデータセットの集合である。 LeAPSはデータの汚染に耐性があり、数百万の入力トークンに拡張され、信頼性の高いメトリクスを使用する。 8Kから512Kの入力トークンから30のAPIとオープンモデルを評価する。
• 参考スコア（独自算出の注目度）: 4.390834874157954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context language models (LCLMs) power agents that act over long trajectories, from improving a codebase to running research experiments to forecasters that condition on lengthy histories. These applications draw on three distinct long-context capabilities: recall, where the answer is a fact present in the context; state tracking, where the outcome can be computed by performing a series of transformations to a specified state; and pattern learning, where the goal is to make a prediction by sampling from a distribution inferred from many observations. Existing benchmarks primarily focus on the first capability. In this work, we introduce LEAPS (Long-context Evaluation of Adaptive Pattern learning and State tracking), a collection of 12 novel datasets, spanning agentic workflows, behavioral modeling, and forecasting of market and world events. By construction, LEAPS is resistant to data contamination, extends to millions of input tokens, and uses reliable metrics. We evaluate 30 API and open models from 8K to 512K input tokens. LEAPS distinguishes models that perform near perfectly on recall tasks, finding that such models' state tracking and pattern learning abilities can vary significantly and degrade much more dramatically with increasing input lengths--even for pattern learning, where more observations should make learning a theoretically easier task. Moreover, thinking models often underperform their base counterparts, exhausting their generation budget or oversimplifying the task. We hope LEAPS can guide the development of the next generation of LCLMs.
• Abstract（参考訳）: 長文言語モデル(Long-context Language Model, LCLM)は、コードベースの改善から研究実験の実施、そして長い歴史の状態を予測するエージェントである。 これらのアプリケーションは3つの異なる長期コンテキストの能力に基づいており、リコール(リコール)、応答がコンテキストに存在する事実である、状態追跡(ステートトラッキング)、特定の状態への一連の変換を実行することで結果を計算する、パターン学習(パターン学習)、多くの観測から推測された分布からサンプリングして予測を行うことが目的である。 既存のベンチマークは主に第一の能力に焦点を当てている。 本研究では、エージェントワークフロー、行動モデリング、市場および世界イベントの予測など12種類の新しいデータセットのコレクションであるLEAPS(Long-context Evaluation of Adaptive Pattern Learning and State Tracking)を紹介する。 構築によって、LEAPSはデータの汚染に耐性を持ち、数百万の入力トークンに拡張され、信頼性の高いメトリクスを使用する。 8Kから512Kの入力トークンから30のAPIとオープンモデルを評価する。 LEAPSは、リコールタスクでほぼ完全に機能するモデルを区別し、そのようなモデルの状態トラッキングとパターン学習能力は、入力長が増加するにつれて著しく変化し、さらに劇的に低下する。 さらに、思考モデルは、しばしばベースモデルよりも優れ、世代予算を浪費したり、タスクを単純化したりする。 LEAPSが次世代LCLMの開発を導くことを願っている。

関連論文リスト

• Document Reconstruction Unlocks Scalable Long-Context RLVR [60.74632963522131]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の機能強化(長文)のための重要なパラダイムとなっている。 我々は,LLMの長期的文脈能力を高めるための教師なしのアプローチについて検討し,重度の人的アノテーションや教師モデルの監督の必要性を排除した。 提案手法の有効性をRULERとLongBenchv2の2つのベンチマークで検証した。
  論文  参考訳（メタデータ） (2026-02-09T03:23:23Z)
• Mid-Training of Large Language Models: A Survey [12.322464058364405]
  大規模言語モデル(LLM)は通常、大規模事前学習とタスク固有の微調整によって開発される。 近年の進歩は中間訓練段階の重要性を浮き彫りにしている。 トレーニング中のデータ分散,学習速度スケジューリング,長文拡張の最初の分類について紹介する。
  論文  参考訳（メタデータ） (2025-10-08T09:49:37Z)
• SPELL: Self-Play Reinforcement Learning for evolving Long-Context Language Models [79.01078135582127]
  SPELLは、長文推論のためのスケーラブルでラベルなしの最適化を可能にする。 本稿では、文書長を徐々に向上させる自動カリキュラムと、モデルの進化する機能に質問の難しさを適応させる報奨関数を導入する。
  論文  参考訳（メタデータ） (2025-09-28T13:08:10Z)
• Writing-RL: Advancing Long-form Writing via Adaptive Curriculum Reinforcement Learning [55.41828729623907]
  本稿では,適応型カリキュラム強化学習フレームワーク「Ling-RL: An Adaptive Curriculum Reinforcement Learning」について紹介する。 フレームワークは3つの重要なコンポーネントで構成されている。高い学習可能性を持つサンプルを優先するMargin-aware Data Selection戦略、差別的な学習信号を提供するPairwise Comparison Rewardメカニズム、動的参照スケジューリングアプローチである。
  論文  参考訳（メタデータ） (2025-06-06T05:40:39Z)
• Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection [38.35524024887503]
  Prioritized cOncept learninG by Relative Error-driven Sample Selection (PROGRESS)を提案する。 PROGRESSはデータと計算効率のよいフレームワークで、視覚言語モデルで次に何を学習するかを動的に選択できる。 PROGRESSは、データや監督をはるかに少なくして、最先端のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-06-01T17:05:35Z)
• Training Dynamics of a 1.7B LLaMa Model: A Data-Efficient Approach [10.39475177812483]
  約200億個のデータに対するDMaS-LLaMa-Liteのトレーニングから得られた洞察を共有します。 我々は、検証損失レベルとダウンストリームベンチマークの進化が、不整合テキストから、流動的で文脈に根ざしたアウトプットへの移行を反映しているかを記述した、完全なトレーニングの軌跡を詳述する。 これらの経験を詳述し、トレーニングログ、チェックポイント、サンプルアウトプットを提供することで、将来の研究者や実践者が事前学習戦略を洗練することを目指している。
  論文  参考訳（メタデータ） (2024-12-17T21:15:52Z)
• Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment [16.39696580487218]
  BERTやT5のような事前訓練された言語モデルは、高密度検索のための重要なバックボーンエンコーダとして機能する。 近年,大規模言語モデル (LLM) をレトリバーとして使用し,様々なタスクでSOTA性能を達成している。
  論文  参考訳（メタデータ） (2024-08-22T08:16:07Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。