論文の概要: Mergeable Model-Side Aggregation States for Long-Context Language Models

• arxiv url: http://arxiv.org/abs/2607.26448v1
• Date: Wed, 29 Jul 2026 03:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.53463
• Title: Mergeable Model-Side Aggregation States for Long-Context Language Models
• Title（参考訳）: 長期言語モデルのためのマージ可能なモデル側アグリゲーション状態
• Abstract要約: 長いコンテキスト言語モデルの制限として、コンテキスト長が増加するにつれて、非付加的、セットベースアグリゲーションにおける信頼できないパフォーマンスが知られている。 本稿では,HashベースのHyperLogLog(HLL)スケッチ状態を凍結言語モデルとともに保持するモデル側アグリゲーションインタフェースを提案する。
• 参考スコア（独自算出の注目度）: 6.1170189512684345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A known limitation of long-context language models is their increasingly unreliable performance in non-additive, set-based aggregation as context length grows. Examples include cardinality estimation, set relationships, and grouped statistics, which widely exist in logs, program outputs, tables, and multi-turn conversations. To provide the aggregation state required by these tasks, we introduce a model-side aggregation interface that maintains compact Hash-based HyperLogLog (HLL) sketch states alongside a frozen language model. While the model processes the context, an extractor maps each relevant record to a canonical identity. The identity is then hashed and updates the HLL state. These states can be merged across context segments and/or read out directly for downstream reasoning, avoiding an additional generate-execute-return cycle. We validate the proposed approach by setting the HLL state size as 2 KiB (2,048 registers), which does not increase with context length or set cardinality. In a distinct-count experiment involving one million records, the mean relative error was 1.6%. In a separate merge test, states built from as many as 256 segments produced exactly the same readout as a single pass over the same stream. On 3,969 aggregate-then-reason tasks from 174 source windows, the fixed-budget interface reached 99.2% accuracy on Gemma 4 (31B, BF16), compared with 100.0% under exact aggregation; the paired gap was 0.8 percentage points (95% window-cluster CI: 0.5-1.3 points). On a matched set of 174 items, our method improved over direct full-context reasoning by 63.2 points on Qwen and 56.3 points on Gemma. The corresponding gains over chain-of-thought (CoT) reasoning were 60.9 and 63.2 points, respectively. On a fixed 1,200-task Oolong-Synth subset, our method reached 91.1% on Qwen and 99.3% on Gemma. Code is available at https://github.com/songdc98/sketchops.
• Abstract（参考訳）: 長いコンテキスト言語モデルの制限として、コンテキスト長が増加するにつれて、非付加的、セットベースアグリゲーションにおける信頼性の低いパフォーマンスが知られている。 例えば、基数推定、セット関係、グループ統計などがあり、ログ、プログラム出力、テーブル、マルチターン会話などに広く存在している。 本研究では,HashベースのHyperLogLog(HLL)スケッチ状態を凍結言語モデルとともに保持するモデル側アグリゲーションインタフェースを提案する。 モデルがコンテキストを処理する間、抽出器は関連する各レコードを標準IDにマッピングする。 アイデンティティはハッシュされ、HLL状態が更新される。 これらの状態は、コンテキストセグメント間でマージしたり、下流の推論のために直接読み出すことができる。 提案手法は,HLL状態サイズを2KiB(2,048レジスタ)とすることで検証する。 100万レコードを含む個別の数値実験では、平均相対誤差は1.6%だった。 別のマージテストでは、256個のセグメントで構築されたステートは、同じストリーム上のシングルパスと全く同じ読み出しを生成する。 174のソースウィンドウからの3,969の集約推論タスクにおいて、固定予算インタフェースはGemma 4 (31B, BF16) で99.2%の精度に達し、正確なアグリゲーションでは100.0%、対のギャップは0.8%(ウィンドウクラスタCI:95%-1.3ポイント)であった。 一致した174項目について,Qwenでは63.2点,Gemmaでは56.3点,直接全文推論よりも改善した。 チェーン・オブ・ソート(CoT)の推理値に対する対応する利得は、それぞれ60.9点と63.2点であった。 固定1200タスクのOolong-Synth部分集合では、Qwenでは91.1%、Gemmaでは99.3%に達した。 コードはhttps://github.com/songdc98/sketchops.comで入手できる。

関連論文リスト

• text2ql: Multi-Target Natural Language Querying via a Language-Agnostic Intermediate Representation [0.9927219503124457]
  本稿では,自然言語インタフェースのためのオープンソースのPythonアーキテクチャであるtext2qlについて述べる。 自然言語インタフェースからデータベースへの3つの構造的制限に対処する。 言語に依存しない中間表現(QueryIR)アーキテクチャに基づいている。
  論文  参考訳（メタデータ） (2026-09-02T05:09:51Z)
• Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
  大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。 テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。 しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。 我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
  論文  参考訳（メタデータ） (2026-08-30T17:58:49Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study [0.0]
  我々はAUROCを用いて、各クエリがいかに正確かを測定する。 BIRDとスパイダーでは、文字列、構造、実行の自己整合性、スキーマ関連スコア、クエリ実行性といったブラックボックス信号はすべて0.61から0.68AUROCに該当する。 検証器をトレーニングできるかどうかを問う。符号化器と生成器の両方で、約0.77～0.79 AUROCの非分布に到達するが、未知のスキーマでは約0.66に低下する。
  論文  参考訳（メタデータ） (2026-07-07T20:52:58Z)
• Uncertainty-gated selection for block-sparse attention [0.0]
  ブロックスパースアテンション(Block-sparse attention)は、O(N2)ソフトマックスをキーブロック上のクエリごとのトップk選択に置き換えることで、長いコンテキスト言語モデルをスケールする。 本稿では,各クエリに対して,トップkカットがいかに決定的に行われたかを測定する,情報量ルータを提案する。
  論文  参考訳（メタデータ） (2026-07-04T20:41:42Z)
• Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
  自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。 1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。 LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
  論文  参考訳（メタデータ） (2026-06-22T16:32:25Z)
• Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
  我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。 教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。 これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
  論文  参考訳（メタデータ） (2026-06-21T16:27:24Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines [1.9537983097153042]
  振る舞い駆動開発(BDD)ソフトウェアテストスイートは、重複したステップサブシーケンスを蓄積します。 3つのパブリッシュパターンが利用可能である(ファイルの背景、再利用可能な再利用可能なシナリオ呼び出し、組織間の共有高レベルステップ)。 繰り返し続くサブシーケンスが抽出に値するか、どのメカニズムが適用されるかを自動化する前の作業はありません。
  論文  参考訳（メタデータ） (2026-05-14T08:38:04Z)
• Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion [0.0]
  本稿では,クエリを3つのメカニズムを通じてセグメンテーションに統合することにより,チャンクを動的に構築するクエリ適応セマンティックチャンキング(QASC)を提案する。 QASCのF1スコアは0.85で、固定チャンクよりも18-27%、意味論的およびエージェント的代替よりも8-12%向上している。
  論文  参考訳（メタデータ） (2026-04-29T06:40:53Z)
• Reducing Maintenance Burden in Behaviour-Driven Development: A Paraphrase-Robust Duplicate-Step Detector with a 1.1M-Step Open Benchmark [1.9537983097153042]
  振る舞い駆動開発スイートは、ドキュメント化されたメンテナンスコストとステップ重複の重複を蓄積します。 私たちはこれまでで最大の組織横断的なBDDステップコーパスをリリースします。
  論文  参考訳（メタデータ） (2026-04-22T11:44:05Z)
• MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
  MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。 SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
  論文  参考訳（メタデータ） (2025-06-05T16:34:57Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。