論文の概要: SPENCER: Self-Adaptive Model Distillation for Efficient Code Retrieval
- arxiv url: http://arxiv.org/abs/2508.00546v1
- Date: Fri, 01 Aug 2025 11:39:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-04 18:08:53.855956
- Title: SPENCER: Self-Adaptive Model Distillation for Efficient Code Retrieval
- Title（参考訳）: SPENCER: 効率的なコード検索のための自己適応型モデル蒸留
- Authors: Wenchao Gu, Zongyi Lyu, Yanlin Wang, Hongyu Zhang, Cuiyun Gao, Michael R. Lyu,
- Abstract要約: 本研究では,効率の良いCodE検索のための自己AdaPtive Model Distillationを採用したフレームワークであるSPENCERを提案する。
両エンコーダとクロスエンコーダの組み合わせは,コード検索用のみのデュアルエンコーダベースモデルと比較して,全体的な性能を向上することを示す。
- 参考スコア（独自算出の注目度）: 46.194566677039525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code retrieval aims to provide users with desired code snippets based on users' natural language queries. With the development of deep learning technologies, adopting pre-trained models for this task has become mainstream. Considering the retrieval efficiency, most of the previous approaches adopt a dual-encoder for this task, which encodes the description and code snippet into representation vectors, respectively. However, the model structure of the dual-encoder tends to limit the model's performance, since it lacks the interaction between the code snippet and description at the bottom layer of the model during training. To improve the model's effectiveness while preserving its efficiency, we propose a framework, which adopts Self-AdaPtive Model Distillation for Efficient CodE Retrieval, named SPENCER. SPENCER first adopts the dual-encoder to narrow the search space and then adopts the cross-encoder to improve accuracy. To improve the efficiency of SPENCER, we propose a novel model distillation technique, which can greatly reduce the inference time of the dual-encoder while maintaining the overall performance. We also propose a teaching assistant selection strategy for our model distillation, which can adaptively select the suitable teaching assistant models for different pre-trained models during the model distillation to ensure the model performance. Extensive experiments demonstrate that the combination of dual-encoder and cross-encoder improves overall performance compared to solely dual-encoder-based models for code retrieval. Besides, our model distillation technique retains over 98% of the overall performance while reducing the inference time of the dual-encoder by 70%.
- Abstract（参考訳）: コード検索は、ユーザの自然言語クエリに基づいて、ユーザに望ましいコードスニペットを提供することを目的としている。
ディープラーニング技術の発展に伴い、このタスクに事前訓練されたモデルを採用することが主流となっている。
検索効率を考慮すると、従来の手法の多くはこのタスクにデュアルエンコーダを採用しており、記述とコードスニペットをそれぞれ表現ベクトルにエンコードしている。
しかしながら、デュアルエンコーダのモデル構造は、トレーニング中のモデルの下位層でのコードスニペットと記述との相互作用が欠けているため、モデルの性能を制限する傾向にある。
本研究では,効率を保ちながらモデルの有効性を向上させるためのフレームワークを提案する。
SPENCERはまず二重エンコーダを採用して検索スペースを狭め、次にクロスエンコーダを採用して精度を向上させる。
本研究では,スペンサーの効率を向上させるために,全性能を維持しつつ,デュアルエンコーダの推論時間を大幅に短縮できる新しいモデル蒸留法を提案する。
また, モデル蒸留において, 異なる事前学習モデルに対して適切な指導支援モデルを適応的に選択し, モデル性能を確保するための指導支援戦略を提案する。
拡張実験により、二重エンコーダとクロスエンコーダの組み合わせは、単に二重エンコーダをベースとしたコード検索モデルに比べて全体的な性能を向上させることが示された。
また, モデル蒸留技術は全性能の98%以上を保ちながら, 二重エンコーダの推論時間を70%削減している。
関連論文リスト
- CoVAE: Consistency Training of Variational Autoencoders [9.358185536754537]
本稿では,一貫性モデルからVAEアーキテクチャをトレーニングするための手法を取り入れた,新しい単一ステージ生成自動符号化フレームワークを提案する。
我々は,CoVAEが学習前の知識を使わずに,高品質なサンプルを1段階ないし数段階で生成できることを実証した。
提案手法は,自動エンコーディングと拡散型生成モデルのための統一的なフレームワークを提供し,一段階の高速自動エンコーディングのための実行可能な経路を提供する。
論文 参考訳（メタデータ） (2025-07-12T01:32:08Z) - UCD: Unlearning in LLMs via Contrastive Decoding [10.901118996654171]
コントラストデコーディングを用いた推論時アンラーニングアルゴリズムを提案する。
我々は、TOFUとMUSEの2つのアンラーニングベンチマークに対するアプローチを評価した。
論文 参考訳（メタデータ） (2025-06-12T16:02:26Z) - MoSE: Hierarchical Self-Distillation Enhances Early Layer Embeddings [2.1262605464247812]
自己蒸留(Self-Distillation)は、様々なコード理解タスクにおける正確性のための推論コストの取引方法である。
我々のアーキテクチャは、特定のエンコーダ層を出口ヘッドとしてターゲットとして、テキスト・ツー・コード検索とコード・ツー・コード検索を改善している。
我々は、テキストからコードへのベンチマークを言語間のコード-コードペアで拡張するコード翻訳によって作成された新しいデータセットをリリースする。
論文 参考訳（メタデータ） (2025-03-04T21:08:17Z) - DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。
DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-02-06T11:10:35Z) - Stateful Conformer with Cache-based Inference for Streaming Automatic Speech Recognition [20.052245837954175]
本稿では,FastConformerアーキテクチャに基づく,効率的かつ正確な音声認識モデルを提案する。
我々は,非自己回帰エンコーダが推論中に自己回帰的に動作できるようにするために,アクティベーションキャッシング機構を導入する。
CTCとRNNTデコーダを共用した共有エンコーダを用いたハイブリッドCTC/RNNTアーキテクチャにより、精度の向上と計算の保存が可能となる。
論文 参考訳（メタデータ） (2023-12-27T21:04:26Z) - Co-training and Co-distillation for Quality Improvement and Compression
of Language Models [88.94539115180919]
知識蒸留(KD)は、知識をより小さなモデルに伝達することで、高価な事前訓練言語モデル(PLM)を圧縮する。
ほとんどの小型モデルはオリジナルの大型モデルの性能を上回ることができず、推論速度を改善するために性能を犠牲にする結果となった。
本稿では,2つのモデルを協調学習することで,性能と推論速度を共に向上する新しいフレームワークであるCTCDを提案する。
論文 参考訳（メタデータ） (2023-11-06T03:29:00Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳（メタデータ） (2023-07-17T07:12:29Z) - Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly
Detectors [117.61449210940955]
ビデオフレームレベルで適用された軽量マスク付きオートエンコーダ(AE)に基づく効率的な異常事象検出モデルを提案する。
動き勾配に基づく重みトークンへのアプローチを導入し、静的背景シーンから前景オブジェクトへ焦点を移す。
トレーニングビデオの強化のために合成異常事象を生成し,マスク付きAEモデルを用いてオリジナルのフレームを共同で再構築する。
論文 参考訳（メタデータ） (2023-06-21T06:18:05Z) - LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。
固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。
我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文 参考訳（メタデータ） (2022-10-28T09:53:05Z) - Distilled Dual-Encoder Model for Vision-Language Understanding [50.42062182895373]
本稿では,視覚言語理解タスクのためのデュアルエンコーダモデルをトレーニングするための多モードアテンション蒸留フレームワークを提案する。
プレトレーニングと微調整の両方にクロスモーダルアテンション蒸留を適用することで,さらなる改良が期待できることを示す。
論文 参考訳（メタデータ） (2021-12-16T09:21:18Z) - Building an Efficient and Effective Retrieval-based Dialogue System via
Mutual Learning [27.04857039060308]
検索システムを構築するために,両世界の長所を組み合わせることを提案する。
従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。
我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
論文 参考訳（メタデータ） (2021-10-01T01:32:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。