論文の概要: Does a Language Server Save Tokens for Coding Agents? A Measurement Methodology and Preliminary Study
- arxiv url: http://arxiv.org/abs/2608.13568v1
- Date: Mon, 29 Jun 2026 04:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.198745
- Title: Does a Language Server Save Tokens for Coding Agents? A Measurement Methodology and Preliminary Study
- Title(参考訳): 言語サーバーはコーディングエージェントのトークンを節約しているか? : 測定方法と予備研究
- Abstract要約: コーディングエージェントはコンテキストの予算の大部分を意味検索に費やしている。
意味検索の方がトークン効率が高いという主張は、ほとんど至る所で主張され、ほとんどどこにも測定されていない。
本稿では,3つの既定故障モードを測定可能な変数にマッピングする。
- 参考スコア(独自算出の注目度): 1.6850526374713495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents spend most of their context budget on retrieval. Lexical retrieval (grep) is universal, instant, and zero-setup, but noisy: it cannot tell a definition from a call from a comment. Semantic retrieval via the Language Server Protocol (LSP) is precise and typed, but needs a running, indexed server and pays a per-symbol round-trip. The claim that semantic retrieval is more token-efficient is, we find, asserted almost everywhere and measured almost nowhere: no public source isolates the LSP-vs-lexical token delta for an agent at equal task-success. This paper formalizes the question with one metric (tokens-to-success), specifies a five-arm ablation isolating semantic retrieval from confounds, maps three pre-stated failure modes onto measurable variables, and reports a preliminary study (Python and TypeScript repos; Claude Opus 4.8, Sonnet 4.6, Haiku 4.5). The answer is conditional and usually negative. On symbol-named localization the LSP costs tokens (+6% to +118%) and the agent ignores it when free. On reference-completeness it buys precision but not token savings and cannot raise the recall ceiling set by agent thoroughness; it saves tokens only for the weakest model. Tool choice is task-dependent: models default to grep on localization (0-6% semantic use) but reach for the LSP about half the time on reference tasks, unprompted. On edits scored by real test execution the gap is starkest: grep solves multi-file renames perfectly, a location-only LSP fails three-quarters of them by missing a call site, and even a complete, index-warmed, text-enriched LSP (each reference's line inline, as production LSP-MCP servers do) recovers most of the gap but cannot close it, since a rename must touch comments and strings that semantic references exclude. The implication is not LSP-always but an adaptive router keyed on task class, model capability, and lexical noise.
- Abstract(参考訳): コーディングエージェントは、コンテキスト予算の大部分を検索に費やしている。
語彙検索(grep)は普遍的で、インスタントで、ゼロセットだが、ノイズがある。
Language Server Protocol (LSP)によるセマンティック検索は正確で型付けされているが、実行中のインデックスサーバを必要とし、シンボルごとのラウンドトリップを支払う。
意味検索がよりトークン効率が高いという主張は、ほぼ至るところで主張され、ほぼどこにも測定されていない。
本稿では,1つの指標(tokens-to-success)で質問を定式化し,コンファウンドからのセマンティック検索を5アームのアブレーションで分離し,事前に予測された3つの障害モードを測定可能な変数にマップし,予備調査(PythonとTypeScriptのリポジトリ,Claude Opus 4.8,Sonnet 4.6,Haiku 4.5)を報告する。
答えは条件付きで、通常は否定的である。
シンボル名によるローカライゼーションでは、LSPはトークン(+6%から+118%)を消費し、エージェントはフリー時にそれを無視する。
参照完全性に関して、トークンの保存は正確ではなく、エージェントの徹底性によって設定されたリコール天井を上げることができない。
モデルのデフォルトはローカライゼーション(0-6%のセマンティック使用)だが、参照タスクの約半分の時間でLSPに到達する。
grep はマルチファイルのリネームを完全に解決し、ロケーションのみの LSP はコールサイトの欠落によってその4分の3を失敗し、完全なインデックス処理されたテキスト強化 LSP (すべての参照行インライン、プロダクションの LSP-MCP サーバがそうであるように) でさえ、そのギャップの大半を回復するが、そのリネームは、セマンティック参照を除外するコメントや文字列に触れなければならない。
意味は LSP-always ではなく、タスククラス、モデル能力、語彙ノイズをキーとする適応ルータである。
関連論文リスト
- Measuring the Serving Stack Instead of the Model: Hidden Confounds in Local Tool-Use Evaluation [0.49109372384514843]
測定結果は, モデル行動のみでなく, サービス層に依存していることを示す。
評価プロトコルの一部としてサービス提供行動を扱うためのチェックリストで締めくくった。
論文 参考訳(メタデータ) (2026-09-22T16:48:17Z) - Guiding the coarse levels of semantic IDs makes the fine levels learnable [9.576854834471993]
本稿では,建設においてもっとも意味のあるレベルを規定するガイド付きSIDを紹介する。
Trie-mergeの構築は、高カーディナリティや設定値の属性を固定コード予算にマッピングします。
SIDエンコーディングでのみ異なる一致したエンドツーエンドのA/Bでは、ガイド付きレトリバーは、測定したリスト長毎にrecall@kを改善します。
論文 参考訳(メタデータ) (2026-09-03T01:54:14Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search [2.1542644686007173]
コーパス構築,検索スタック,ツール契約,評価プロトコルが明確で実行可能であるSimpleWikiSearchを提案する。
環境は、完全なウィキペディアダンプから始まり、コーパスを掃除してチャンクし、キーワードと密度の高い検索インデックスを構築し、最小限のツールインターフェースを公開する。
オープンソースLCMを用いた6つのQAデータセットのベースライン結果と、クローズドソース商用モデルとの比較のためのランダム300サブセットについて報告する。
論文 参考訳(メタデータ) (2026-07-10T13:05:10Z) - Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。
複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
論文 参考訳(メタデータ) (2026-05-28T06:23:31Z) - MEME: Multi-entity & Evolving Memory Evaluation [76.57263966646404]
MEMEは、マルチエンタリティと進化する軸によって定義される全空間にまたがる6つのタスクを定義している。
3つの記憶パラダイムにまたがる6つの記憶システムの評価。
デフォルト設定の下では、すべてのシステムが依存性の推論で崩壊しているのが分かります。
論文 参考訳(メタデータ) (2026-05-12T17:55:10Z) - Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。
このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。
IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
論文 参考訳(メタデータ) (2026-05-03T19:13:11Z) - Job Skill Extraction via LLM-Centric Multi-Module Framework [51.37063712967151]
本稿では,意味検索,文脈内学習,教師付き微調整を組み合わせたLLM中心のフレームワークであるSRICLを提案する。
SRICLは、6つの公的なスパンラベル付きジョブアド文のコーパスにおいて、GPT-3.5よりも相当なSTRICT-F1の改善を達成し、ベースラインを加速し、無効なタグと幻覚したスパンを激減する。
論文 参考訳(メタデータ) (2026-04-23T10:46:07Z) - Language Server CLI Empowers Language Agents with Process Rewards [8.38905909723596]
本稿ではLanser-CLIについて紹介する。Lanser-CLIはCLIファーストのオーケストレーションレイヤで、Language Server Protocol(LSP)サーバをピン留めし仲介する。
私たちの立場では、言語サーバーは構造情報だけでなく、実行可能なプロセス報酬も提供します。
凍結スナップショット下で決定論を定式化し,プロセス報酬の単調性を確立した。
論文 参考訳(メタデータ) (2025-10-27T01:25:20Z) - Unmasking the Genuine Type Inference Capabilities of LLMs for Java Code Snippets [8.294192850975767]
大規模言語モデル(LLM)は、オンラインコードスニペットの型推論に使用される。
評価に使用されるベンチマークであるStatType-SOは、2017年からGitHubで公開されている。
本稿では,Java コードスニペット上での LLM の真の型推論能力を包括的に評価する。
論文 参考訳(メタデータ) (2025-03-06T04:13:40Z) - The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。
Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。
その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
論文 参考訳(メタデータ) (2023-11-16T09:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。