論文の概要: Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation

• arxiv url: http://arxiv.org/abs/2603.06593v1
• Date: Wed, 04 Feb 2026 14:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.402607
• Title: Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation
• Title（参考訳）: 階層型埋め込み融合による検索コード生成
• Authors: Nikita Sorokin, Ivan Sedykh, Valentin Malykh,
• Abstract要約: コード補完のためのリポジトリ表現のための2段階のアプローチである階層埋め込み融合(HEF)を提案する。 HEFはスニペットベースの検索ベースラインに匹敵する正確なマッチング精度を達成する。 グラフベースおよび反復検索システムと比較して、HEFは中央値のエンドツーエンドのレイテンシを13倍から26倍に削減する。
• 参考スコア（独自算出の注目度）: 6.4453302264198165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented code generation often conditions the decoder on large retrieved code snippets. This ties online inference cost to repository size and introduces noise from long contexts. We present Hierarchical Embedding Fusion (HEF), a two-stage approach to repository representation for code completion. First, an offline cache compresses repository chunks into a reusable hierarchy of dense vectors using a small fuser model. Second, an online interface maps a small number of retrieved vectors into learned pseudo-tokens that are consumed by the code generator. This replaces thousands of retrieved tokens with a fixed pseudo-token budget while preserving access to repository-level information. On RepoBench and RepoEval, HEF with a 1.8B-parameter pipeline achieves exact-match accuracy comparable to snippet-based retrieval baselines, while operating at sub-second median latency on a single A100 GPU. Compared to graph-based and iterative retrieval systems in our experimental setup, HEF reduces median end-to-end latency by 13 to 26 times. We also introduce a utility-weighted likelihood signal for filtering training contexts and report ablation studies on pseudo-token budget, embedding models, and robustness to harmful retrieval. Overall, these results indicate that hierarchical dense caching is an effective mechanism for low-latency, repository-aware code completion.
• Abstract（参考訳）: 検索拡張されたコード生成は、多くの場合、大規模な検索されたコードスニペットでデコーダを条件にしている。 これは、オンライン推論コストをリポジトリのサイズに結び付け、長いコンテキストからノイズを導入する。 コード補完のためのリポジトリ表現のための2段階のアプローチである階層埋め込み融合(HEF)を提案する。 まず、オフラインキャッシュは、小さなファウザーモデルを用いて、リポジトリチャンクを高密度ベクトルの再利用可能な階層に圧縮する。 第二に、オンラインインターフェースは、少数の検索されたベクトルを、コードジェネレータが消費する学習された擬似トークンにマッピングする。 これは、取得した数千のトークンを固定された擬似トークンの予算で置き換え、リポジトリレベルの情報へのアクセスを保存する。 RepoBenchとRepoEvalでは、1.8Bパラメータパイプラインを備えたHEFは、スニペットベースの検索ベースラインに匹敵する正確なマッチング精度を達成し、単一のA100 GPU上で秒以下の中央値レイテンシで動作させる。 実験装置におけるグラフベースおよび反復検索システムと比較して,HEFは中央値のエンドツーエンド遅延を13倍から26倍に削減する。 また、トレーニングコンテキストをフィルタリングするためのユーティリティ重み付き確率信号を導入し、疑似トークン予算、埋め込みモデル、有害な検索に対する堅牢性に関するアブレーション研究を報告する。 これらの結果は,階層的な高密度キャッシュが低レイテンシでリポジトリ対応のコード補完に有効なメカニズムであることを示唆している。

関連論文リスト

• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Multivector Reranking in the Era of Strong First-Stage Retrievers [11.098422338598454]
  2つの公開データセット上で、最先端のマルチベクタ検索手法を再現する。 トークンレベルの集合フェーズを単一ベクトル文書検索器に置き換えることで,より小さく,より意味的に一貫性のある候補セットが生成されることを示す。 我々の2段階のアプローチは、最先端のマルチベクター検索システムに対して24ドル以上のスピードアップを実現し、同等または優れた検索品質を維持しています。
  論文  参考訳（メタデータ） (2026-01-08T18:22:18Z)
• On Pretraining for Project-Level Code Completion [0.061386715480643554]
  リポジトリレベルの事前トレーニングは、コードの大規模な言語モデルが広いコンテキストを活用できるようにするために一般的に使用される。 本研究では,OpenCoderにおける複数のリポジトリ処理戦略がコンテキスト内学習に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-10-15T15:55:19Z)
• Paper2Code: Automating Code Generation from Scientific Papers in Machine Learning [70.04746094652653]
  機械学習論文を機能コードリポジトリに変換するフレームワークであるPaperCoderを紹介した。 PaperCoderは3つの段階で動作する。計画、図によるシステムアーキテクチャの設計、ファイル依存の特定、構成ファイルの生成である。 次に、モデルベースおよび人的評価の両方に基づいて、機械学習論文からコード実装を生成するPaperCoderを評価する。
  論文  参考訳（メタデータ） (2025-04-24T01:57:01Z)
• RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation [96.75695811963242]
  RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。 類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。 バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-03-22T13:54:46Z)
• Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations [14.432131909590824]
  強化学習(Reinforcement Learning, RL)は、ロボット工学、ゲーム、医療などの応用分野において大きな成功を収めている。 現在の実装は、不規則なメモリアクセスや同期オーバーヘッドといった問題により、パフォーマンスが劣っている。 マルチコアシステム上でスケーラブルな強化学習を実現するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T21:00:53Z)
• Progressively Pretrained Dense Corpus Index for Open-Domain Question Answering [87.32442219333046]
  本稿では,段落エンコーダを事前学習するための簡易かつ資源効率の高い手法を提案する。 本手法は,事前学習に7倍の計算資源を使用する既存の高密度検索法より優れている。
  論文  参考訳（メタデータ） (2020-04-30T18:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。