論文の概要: Context Language Models

• arxiv url: http://arxiv.org/abs/2609.37725v1
• Date: Tue, 29 Sep 2026 14:50:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.64625
• Title: Context Language Models
• Title（参考訳）: 文脈言語モデル
• Abstract要約: CLMを既存のモデルでゼロショットで構築することは、様々なタスクでSOTAコンテキスト管理戦略より優れている。 CLMは、標準的なスキル最適化ループを通じて進化した自然言語命令で操ることができることを示す。 我々は、CLMサービスのためのSuffixキャッシュ再利用を共同設計し、サーバサイドの計算を標準のSGLangと比較して35%削減した。
• 参考スコア（独自算出の注目度）: 96.98860474374459
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Context Language Models (CLMs), language models that natively manage their own context. We implement this by treating the context as a file and allowing the model to make unrestricted updates to this file. This allows the model to learn what is most important to maintain in context, and naturally extends to multi-agent systems where multiple agent contexts coexist as files. Building CLMs zero-shot with existing models outperforms SOTA context management strategies across a variety of tasks: 11.4% higher accuracy with 21.5% fewer FLOPs on BrowseComp-Plus, 5% higher scores with 59% fewer FLOPs on 12-hour EdgeBench, and 65% greater improvement with the same compute on a 24-hour multi-repository agent-swarm task. Moreover, by shifting context management from external harness control to intrinsic model behavior, CLMs naturally enable both in-context and parametric learning of context-management strategies. We show that CLMs can be steered with natural-language instructions evolved through a standard skill-optimization loop, improving held-out accuracy by up to 35.9 points on a context-management task while reducing compute. We also introduce an online reinforcement learning method for CLMs, improving Qwen3.5-9B performance on BrowseComp-Plus by 47.6% while using 12% fewer FLOPs. Finally, we co-design Suffix Cache Reuse for CLM serving, further reducing server-side compute by 35% relative to standard SGLang at matched performance.
• Abstract（参考訳）: それぞれのコンテキストをネイティブに管理する言語モデルであるコンテキスト言語モデル(CLM)を導入する。 私たちは、コンテキストをファイルとして扱い、このファイルに制限のない更新を可能にすることで、これを実装します。 これにより、複数のエージェントコンテキストがファイルとして共存するマルチエージェントシステムに自然に拡張される。 11.4%の精度、21.5%のBrowseComp-PlusでのFLOP、5%のスコア、12時間のEdgeBenchでのFLOPの59%の削減、24時間のマルチリポジトリエージェントスワームタスクで同じ計算で65%の改善。 さらに、文脈管理を外部ハーネス制御から本質的なモデル行動にシフトさせることで、CLMは文脈管理戦略の文脈内学習とパラメトリック学習の両方を自然に可能とします。 CLMは、標準的なスキル最適化ループを通じて進化した自然言語命令で操り、コンテクスト管理タスクにおいて最大35.9ポイントのホールドアウト精度を向上し、計算量を削減できることを示す。 また,CLMのオンライン強化学習手法を導入し,BrowseComp-PlusのQwen3.5-9B性能を47.6%改善し,FLOPを12%削減した。 最後に、CLMサービスのためのSuffix Cache Reuseを共同設計し、標準SGLangと比較してサーバ側の計算を35%削減した。

関連論文リスト

• In-Context Prompting Obsoletes Agent Orchestration for Procedural Tasks [1.5113187239675951]
  LangGraph、CrewAI、Google ADK、OpenAI Agents SDKなどのツールが、LCMの上に外部オーケストレータを配置し、状態を追跡し、各ターンにルーティング命令を注入する。 本稿では,手順全体をシステムプロンプトに配置し,モデルを自己組織化させるという,手続き的タスクにおいて,このアーキテクチャはより単純な選択肢によって支配されていることを示す。
  論文  参考訳（メタデータ） (2026-04-30T14:07:37Z)
• MetaClaw: Just Talk -- An Agent That Meta-Learns and Evolves in the Wild [74.7263562191605]
  大規模言語モデル(LLM)エージェントは、複雑なタスクにますます使われている。 既存の方法は、知識を蒸留せずに生の軌跡を保存するか、静的なスキルライブラリを維持するか、または再訓練のために破壊的なダウンタイムを必要とする。 本稿では,基本的なLCMポリシと再利用可能な行動スキルのライブラリを共同で進化させるメタ学習フレームワークであるMetaClawを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T22:30:30Z)
• RIDE: Enhancing Large Language Model Alignment through Restyled In-Context Learning Demonstration Exemplars [57.6513924960128]
  調整調整は、大きな言語モデル(LLM)が倫理的かつ有用な振る舞いを確実にするために不可欠である。 本稿では,LLMアライメントを向上させるために,ICL(In-context Learning)を用いた低コストでチューニング不要な手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:16:19Z)
• Efficiently Deploying LLMs with Controlled Risk [0.9208007322096532]
  モデル内不確実性を利用してクエリをデリゲートする,階層型連鎖とマルチレベルアプテンション(HCMA)を提案する。 我々の枠組みは、効率とリスクの間に新たなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2024-10-03T03:25:56Z)
• ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities [53.97515452727115]
  ChatQA 2は、128Kコンテキストウィンドウを備えたLlama 3.0ベースのモデルである。 Llama3-70Bベースのコンテキストウィンドウを8Kから128Kまで拡張するためのトレーニングレシピを提案する。 RAGを用いた長文LLMの性能は,多数のチャンクを検索した場合に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-19T17:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。