論文の概要: Correctness-Aware Repository Filtering Under Maximum Effective Context Window Constraints
- arxiv url: http://arxiv.org/abs/2605.14362v1
- Date: Thu, 14 May 2026 04:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.622269
- Title: Correctness-Aware Repository Filtering Under Maximum Effective Context Window Constraints
- Title(参考訳): 最大実効的コンテキストウィンドウ制約下での正当性を考慮したリポジトリフィルタ
- Authors: Shweta Mishra,
- Abstract要約: コンテキストウィンドウ効率は、大規模言語モデル(LLM)ベースの開発ツールの実践的な制約である。
トークン化前のレポジトリスキャンをインターセプトする,正当性を考慮したコンテキスト衛生フレームワークを提案する。
対照的に、我々のフレームワークはインデクシングを必要とせず、ファイル決定あたり0.01msで動作する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context window efficiency is a practical constraint in large language model (LLM)-based developer tools. Paulsen [12] shows that all tested models degrade in accuracy well before their advertised context limits the Maximum Effective Context Window (MECW) which makes context construction a quality problem, not just a cost one. Modern software repositories routinely contain large non-code artifacts compiled datasets, binary model weights, minified JavaScript bundles, and gigabyte-scale log files that overflow the context window and push out task-relevant source code. We present a correctness-aware context hygiene framework: a pre-execution, size-based heuristic filter that intercepts repository scans before tokenization, using only OS-level stat() metadata with sub-millisecond overhead. Semantic retrieval approaches such as RepoCoder, GraphRAG, and AST-based chunking require index construction and query-time inference before any filtering decision is reached. Our framework, by contrast, requires no indexing and operates at <0.01 ms per file decision. Across 10 real open-source repositories (22,046 files, 5 languages), the proposed SizeFilter at θ=1 MB achieves 79.6% (\pm13.2%) mean token reduction at 0.30 ms overhead: the HybridFilter achieves 89.3% (\pm9.0%) the lowest variance of any filter evaluated. A token-density study across 2,688 files confirms a strong linear correlation (Pearson r=0.997, k=0.250 tokens/byte). A limited-scope evaluation (18 tasks, CodeLlama-7B-Instruct) yields 72% file-level accuracy under filtering versus 25% at baseline; hallucination frequency declines from 61% to 17%. All code and data are released for reproducibility.
- Abstract(参考訳): コンテキストウィンドウ効率は、大規模言語モデル(LLM)ベースの開発ツールの実践的な制約である。
Paulsen氏 [12] は、すべてのテストされたモデルは、宣伝されたコンテキストの前に、正確さで分解され、コンテキスト構築をコストではなく品質の問題にする最大効果コンテキストウィンドウ(MECW)が制限されていることを示している。
現代のソフトウェアリポジトリには、コンパイルされたデータセット、バイナリモデルの重み付け、最小化されたJavaScriptバンドル、コンテキストウィンドウをオーバーフローしてタスク関連ソースコードをプッシュアウトするギガバイト規模のログファイルが含まれる。
トークン化前のレポジトリスキャンをインターセプトする,事前実行型,サイズベースのヒューリスティックフィルタで,OSレベルのstat()メタデータのみをミリ秒以下のオーバーヘッドで使用する。
RepoCoder、GraphRAG、ASTベースのチャンキングといったセマンティック検索アプローチでは、フィルタリング決定に到達する前にインデックス構築とクエリ時間推論が必要である。
対照的に、我々のフレームワークはインデクシングを必要とせず、ファイル決定あたり0.01msで動作します。
10個の実際のオープンソースリポジトリ(22,046ファイル、5言語)にまたがって、θ=1MBのSizeFilterは79.6%(\pm13.2%)の平均トークン削減を0.30msのオーバーヘッドで達成している。
2,688ファイルにわたるトークン密度の研究により、強い線形相関(ピアソン r=0.997, k=0.250トークン/バイト)が確認された。
限定スコープ評価(18タスク, CodeLlama-7B-Instruct)では, フィルタ下でのファイルレベルの精度が72%, ベースラインで25%, 幻覚頻度が61%から17%に低下した。
すべてのコードとデータは再現性のためにリリースされます。
関連論文リスト
- Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。
既存のアプローチは、ゼロから完全なモデル実装を生成します。
我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
論文 参考訳(メタデータ) (2026-05-06T13:32:05Z) - SWE-PRBench: Benchmarking AI Code Review Quality Against Pull Request Feedback [2.626039639665796]
SWE-PRBenchは、AIコードレビューの品質を評価するための、人間による注釈付き根拠真理による350のプルリクエストのベンチマークである。
8つのフロンティアモデルでは、差分のみの設定で人間のフラッグされた問題の15~31%しか検出できない。
論文 参考訳(メタデータ) (2026-03-27T07:24:26Z) - The Limits of Long-Context Reasoning in Automated Bug Fixing [4.853967615615349]
大規模言語モデル(LLM)は、コンテキスト全体を直接推論することができる。
LLMの最近の進歩は、ソフトウェア工学のベンチマークで強力なパフォーマンスを実現している。
我々は,現在のLLMが長文コードとパッチ生成を確実に実行可能であるかどうかを体系的に評価する。
論文 参考訳(メタデータ) (2026-02-17T22:51:40Z) - Impact-driven Context Filtering For Cross-file Code Completion [19.717276276962483]
Retrieval-augmented Generation (RAG)は、最近リポジトリレベルのコード補完の可能性を示している。
検索したクロスファイルコンテキストのコントリビューションをよりよく理解するために,検索した各コードチャンクが完了に与える影響を評価する。
これらの結果は、リポジトリレベルのコード補完の正確性、効率、および属性性を高めるためのCODEの可能性を強調します。
論文 参考訳(メタデータ) (2025-08-08T03:08:19Z) - Precise Legal Sentence Boundary Detection for Retrieval at Scale: NUPunkt and CharBoundary [13.284214798785847]
法文の高精度処理に最適化された2つの文境界検出ライブラリであるNUPunktとCharBoundaryを提案する。
これらの図書館は、特別な引用、略語、複雑な文構造を含む法的文書によって引き起こされる重要な課題に対処する。
論文 参考訳(メタデータ) (2025-04-05T10:48:34Z) - See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
この課題を解決するために,LMMのカスケードと共同学習手法を提案する。
得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
論文 参考訳(メタデータ) (2023-12-13T18:58:04Z) - Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳(メタデータ) (2023-07-01T02:28:41Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳(メタデータ) (2021-07-14T18:07:38Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳(メタデータ) (2020-10-28T15:26:40Z) - ContextNet: Improving Convolutional Neural Networks for Automatic Speech
Recognition with Global Context [58.40112382877868]
ContextNet と呼ばれる新しい CNN-RNN-Transducer アーキテクチャを提案する。
ContextNetは、グローバルコンテキスト情報を畳み込みレイヤに組み込む、完全な畳み込みエンコーダを備えている。
クリーン/ノイズの多いLibriSpeechテストセット上では、ContextNetは、外部言語モデル(LM)なしで2.1%/4.6%、LMで1.9%/4.1%、および2.9%/7.0%のワードエラー率(WER)を達成した。
論文 参考訳(メタデータ) (2020-05-07T01:03:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。