論文の概要: Optimizing LLM Code Suggestions: Feedback-Driven Timing with Lightweight State Bounds
- arxiv url: http://arxiv.org/abs/2511.18842v1
- Date: Mon, 24 Nov 2025 07:29:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.08079
- Title: Optimizing LLM Code Suggestions: Feedback-Driven Timing with Lightweight State Bounds
- Title(参考訳): LLMコードの最適化 - 軽量な状態境界によるフィードバック駆動型タイミング
- Authors: Mohammad Nour Al Awad, Sergey Ivanov, Olga Tikhonova,
- Abstract要約: 大規模言語モデル(LLM)は、コンテキスト対応の提案を生成することで、コードの自動補完を変換した。
リアルタイムの開発者フィードバックに基づいて提案を行う前に遅延を動的に調整する適応タイミング機構を提案する。
- 参考スコア(独自算出の注目度): 0.24160362166617352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have transformed code auto-completion by generating context-aware suggestions. Yet, deciding when to present these suggestions remains underexplored, often leading to interruptions or wasted inference calls. We propose an adaptive timing mechanism that dynamically adjusts the delay before offering a suggestion based on real-time developer feedback. Our suggested method combines a logistic transform of recent acceptance rates with a bounded delay range, anchored by a high-level binary prediction of the developer's cognitive state. In a two-month deployment with professional developers, our system improved suggestion acceptance from 4.9% with no delay to 15.4% with static delays, and to 18.6% with adaptive timing-while reducing blind rejections (rejections without being read) from 8.3% to 0.36%. Together, these improvements increase acceptance and substantially reduce wasted inference calls by 75%, making LLM-based code assistants more efficient and cost-effective in practice.
- Abstract(参考訳): 大規模言語モデル(LLM)は、コンテキスト対応の提案を生成することで、コードの自動補完を変換した。
しかし、これらの提案をいつ提示するかは未定であり、しばしば割り込みや推論の呼び出しを無駄にする。
リアルタイムの開発者フィードバックに基づいて提案を行う前に遅延を動的に調整する適応タイミング機構を提案する。
提案手法は,最近の受容率のロジスティックな変換と,開発者の認知状態の高レベルなバイナリ予測によって固定された有界遅延範囲を組み合わせたものである。
プロの開発者による2ヶ月のデプロイメントでは、提案の受け入れを4.9%から、静的遅延なしで15.4%に改善し、適応的なタイミングを保ちながらブラインド拒否を8.3%から0.36%に減らす18.6%に改善しました。
これらの改善により、受け入れが増加し、時間の無駄な推論コールが75%削減され、LLMベースのコードアシスタントがより効率的でコスト効率が向上した。
関連論文リスト
- Pre-Filtering Code Suggestions using Developer Behavioral Telemetry to Optimize LLM-Assisted Programming [0.24160362166617352]
大規模言語モデル(LLM)は、AIによるコード提案を提供するために、コードエディタにますます統合されている。
しかし、これらの提案の多くは無視され、時間の無駄な計算、レイテンシの増加、不要な中断をもたらす。
LLMを起動する前に提案を受理する可能性を予測する軽量な事前フィルタモデルを導入する。
論文 参考訳(メタデータ) (2025-11-24T07:42:07Z) - Can Speech LLMs Think while Listening? [34.188674303810394]
CoT(Chain-of- Thought)はテキストベース音声モデルの推論能力を大幅に向上させることが示されている。
そこで本研究では,テキスト空間における推論により,音声のLLMの精度が平均2.4倍向上することを示す。
ユーザクエリが終了する前に,モデルが推論を開始できるようにすることで,推論から追加のレイテンシを低減する手法を提案する。
論文 参考訳(メタデータ) (2025-10-08T19:50:58Z) - Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。
それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。
本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
論文 参考訳(メタデータ) (2025-09-29T15:52:08Z) - InvBench: Can LLMs Accelerate Program Verification with Invariant Synthesis? [13.240989975977302]
不変合成におけるLCMの評価のための原理的フレームワークを提案する。
提案手法は,形式的な音質保証を備えた検証器に基づく決定手順を用いる。
我々は,従来の解法UAutomizerに対して,最先端のLLMと既存のLLMベースの検証器を7つ評価した。
論文 参考訳(メタデータ) (2025-09-25T21:47:02Z) - Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。
モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。
提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
論文 参考訳(メタデータ) (2025-05-27T20:59:29Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳(メタデータ) (2025-04-29T17:36:05Z) - Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。
APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。
鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
論文 参考訳(メタデータ) (2025-04-21T22:29:02Z) - Smooth Sequential Optimisation with Delayed Feedback [0.0]
累積入力からスムーズな報酬推定を推定する収縮への新しい適応を提案する。
数値シミュレーションにより, この適応は収縮の利点を保ち, 報酬推定の安定性を50%以上向上させることを示した。
論文 参考訳(メタデータ) (2021-06-21T17:51:36Z) - FastEmit: Low-latency Streaming ASR with Sequence-level Emission
Regularization [78.46088089185156]
ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。
既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。
本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
論文 参考訳(メタデータ) (2020-10-21T17:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。