論文の概要: Stingy Context: 18:1 Hierarchical Code Compression for LLM Auto-Coding

• arxiv url: http://arxiv.org/abs/2601.19929v1
• Date: Sun, 11 Jan 2026 17:52:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.551982
• Title: Stingy Context: 18:1 Hierarchical Code Compression for LLM Auto-Coding
• Title（参考訳）: 静的コンテキスト: LLMオートコーディングのための階層型コード圧縮
• Authors: David Linus Ostby,
• Abstract要約: 階層木に基づく圧縮スキームであるStingy Contextを紹介する。 タスクの忠実性を保ちながら、239kトークンの実際のソースコードベースを11kトークンに削減します。 12のFrontierモデルに対する実証的な結果は、低コストで40の現実世界の問題に対して94から97%の成功を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Stingy Context, a hierarchical tree-based compression scheme achieving 18:1 reduction in LLM context for auto-coding tasks. Using our TREEFRAG exploit decomposition, we reduce a real source code base of 239k tokens to 11k tokens while preserving task fidelity. Empirical results across 12 Frontier models show 94 to 97% success on 40 real-world issues at low cost, outperforming flat methods and mitigating lost-in-the-middle effects.
• Abstract（参考訳）: 自動符号化タスクにおけるLLMコンテキストの18:1削減を実現する階層木ベースの圧縮スキームであるStingy Contextを紹介する。 TREEFRAGの分解を利用して、239kトークンの実際のソースコードベースを11kトークンに削減し、タスクの忠実性を維持します。 12のFrontierモデルに対する実証的な結果は、低コストで40の現実世界の問題に対して94～97%の成功を示し、フラットメソッドを上回り、失った中間効果を軽減した。

関連論文リスト

• BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression [0.0]
  BALFは、微調整なしでモデルを圧縮するための効率的なパイプラインである。 微調整のない体制において優れた結果が得られることを示す。 例えば、BALF は ResNeXt-101 上の FLOP を 45% 削減する。
  論文  参考訳（メタデータ） (2025-09-29T17:50:29Z)
• CodeCrash: Exposing LLM Fragility to Misleading Natural Language in Code Reasoning [40.88253756147561]
  私たちは、CruxEvalとLiveCodeBenchから1,279の質問が寄せられたストレステストフレームワークであるCodeCrashを紹介します。 モデルはしばしばNLキューをオーバーリライズすることで推論をショートカットし、出力予測タスクの平均的な性能劣化が23.2%になることがわかった。 チェーン・オブ・ソート(Chain-of-Thought)の推論でさえ、平均的なモデルでは、混乱と合理化のためにまだ13.8%の減少がある。
  論文  参考訳（メタデータ） (2025-04-19T00:40:28Z)
• HASSLE-free: A unified Framework for Sparse plus Low-Rank Matrix Decomposition for LLMs [15.575498324678373]
  有望な圧縮スキームは、基礎モデルの密度重みをスパースと低ランク行列の和に分解することである。 本稿では,半構造化)スパースと低ランク行列分解のためのHASSLEフリーの統一フレームワークを設計する。
  論文  参考訳（メタデータ） (2025-02-02T20:23:32Z)
• From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
  大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。 WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)
• Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations [51.75960511842552]
  事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。 オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。