論文の概要: OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling

• arxiv url: http://arxiv.org/abs/2608.05141v1
• Date: Wed, 05 Aug 2026 17:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:44.073134
• Title: OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling
• Title（参考訳）: OctoLong: クロスリポジトリなコードコンテキストが長期のモデリングを促進する
• Abstract要約: 既存の長文コーパスは書籍、学術論文、コードリポジトリによって支配されている。 AST、言語サーババックエンド、パッケージマネージャを備えたコンテキストエンジニアリングパイプラインであるOctoLongを紹介します。 我々は600Mから14Bのパラメータのベースモデルから派生した、有能な長文オープンなLMのスイートであるOctoLong-Instructを訓練する。 従来の文脈拡張コーパスの12%をOctoLongデータで置き換えただけで、かなりの利益が得られます。
• 参考スコア（独自算出の注目度）: 48.07406452417886
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Context lengths of language models (LMs) have dramatically increased, driven by the demands for in-context learning, self-improvement, and long-horizon agentic workflows. Existing long-context corpora, however, are dominated by books, academic articles, and code repositories, which are finite resources and often scarce in long-distance dependencies. In this work, we introduce OctoLong, a context engineering pipeline that instruments an AST parser, a language server backend, and a package manager to facilitate the recursive retrieval of code references, enabling the curation of dependency-rich code contexts of millions of tokens in length. We then train OctoLong-Instruct, a suite of capable long-context open LMs, derived from base models ranging in size from 600M to 14B parameters, via context-extension mid-training on a ~50B-token mixture containing ~6.2B tokens of OctoLong code contexts, followed by ~10B tokens of instruction tuning. Our training ablations and experimental evaluations against 18 state-of-the-art open-weight long-context LMs show that supplanting just 12% of traditional context-extension corpora with OctoLong data yields substantial gains in long-range retrieval, long-term state tracking, repository-level code understanding, and downstream agentic tasks, while also enhancing API usage in short-context coding scenarios.
• Abstract（参考訳）: 言語モデル(LM)の文脈長は、文脈内学習、自己改善、長期エージェントワークフローの要求によって劇的に増加してきた。 しかし、既存の長いコンテキストのコーパスは書籍、学術論文、コードリポジトリに支配されている。 本研究では,ASTパーサ,言語サーババックエンド,パッケージマネージャを備えたコンテクストエンジニアリングパイプラインであるOctoLongを導入し,コード参照の再帰的検索を可能にし,数百万のトークンの依存性に富んだコードコンテキストのキュレーションを可能にする。 次にOctoLong-Instructをトレーニングし、OctoLongのコードコンテキストの6.2Bトークンを含む約50B-token混合上で、600Mから14Bパラメータのベースモデルから派生した、有能な長文オープンLMのスイートであるOctoLong-Instructをトレーニングする。 従来の文脈拡張コーパスの12%をOctoLongデータに置き換えることで、長期検索、長期状態追跡、リポジトリレベルのコード理解、下流のエージェントタスクにおいて大幅に向上すると同時に、短文コーディングシナリオにおけるAPI使用率の向上も実現している。

関連論文リスト

• Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context [64.09777482878083]
  本稿では,LVLMの長期継続事前学習に関する体系的研究について述べる。 まず、長文書VQAはOCR転写よりかなり効果的であることを示す。 MMProLongは,Qwen2.5-VL-7Bの長文継続事前学習で得られる5Bの予算しか持たない。
  論文  参考訳（メタデータ） (2026-05-13T17:52:53Z)
• Beyond Length: Quantifying Long-Range Information for Long-Context LLM Pretraining Data [67.46386646195818]
  我々はLongFilterを紹介した。LongFilterは、長文事前学習に適したトレーニングデータをキュレートするフレームワークである。 LongFilterは、長いコンテキスト下でのモデル予測と短いコンテキスト設定の対比によって、拡張コンテキストによって提供される情報ゲインを測定する。 LLaMA-3-8Bによる実験は、コンテキスト長を8Kから64Kに拡張し、LongFilterが効率よく高品質のデータを選択し、HELMET、LongBench、RULERなどのベンチマークで大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2025-10-29T06:21:08Z)
• Scaling Instruction-Tuned LLMs to Million-Token Contexts via Hierarchical Synthetic Data Generation [15.975325252309554]
  本稿では,大規模言語モデルのコンテキストウィンドウを効率的に拡張するための新しい学習後合成データ生成戦略を提案する。 我々のアプローチは、利用可能な実世界のデータの長さに制約されずに、任意に長いコンテキスト長まで強固に拡張する。 我々は,RULERベンチマークとInfiniteBenchにおいて,最大100万トークンのコンテキスト長を持つモデルの有効性を実証した。
  論文  参考訳（メタデータ） (2025-04-17T04:46:57Z)
• Bootstrap Your Own Context Length [74.61148597039248]
  長文言語モデルを学習するためのブートストラップ手法を提案する。 提案したデータ合成ワークフローは、短いコンテキスト言語モデル、テキスト検索、文書収集のみを必要とする。 我々は,オープンソースのLlama-3ファミリを用いて実験を行い,最大100万トークンまでコンテキスト長を拡張できることを実証した。
  論文  参考訳（メタデータ） (2024-12-25T10:08:54Z)
• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 コードリポジトリと書籍は長いデータの優れた情報源であることがわかったが、それらと高品質の短文データを組み合わせることが不可欠である。 最終モデルであるProLong-8Bは、128Kの同様のサイズのモデル間で、最先端の長文性能を示す。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Long Context is Not Long at All: A Prospector of Long-Dependency Data for Large Language Models [13.091271774417867]
  長期コンテキストモデリング機能は、様々なアプリケーションにおいて大きな言語モデル(LLM)にとって重要である。 データマイニングフレームワーク textbfProLong を提案する。 複数のベンチマークに関する総合的な実験は、ProLongが長い依存関係を持つドキュメントを効果的に識別していることを示している。
  論文  参考訳（メタデータ） (2024-05-28T07:36:56Z)
• LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding [58.20031627237889]
  LongBenchは、コンテキスト理解のための最初のバイリンガルでマルチタスクのベンチマークである。 英語と中国語の6つのタスクカテゴリにまたがる21のデータセットで構成され、平均的な長さは6,711語(英語)と13,386文字(中国語)である。
  論文  参考訳（メタデータ） (2023-08-28T11:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。