論文の概要: Cascaded Fast and Slow Models for Efficient Semantic Code Search

• arxiv url: http://arxiv.org/abs/2110.07811v1
• Date: Fri, 15 Oct 2021 02:23:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 14:21:48.669320
• Title: Cascaded Fast and Slow Models for Efficient Semantic Code Search
• Title（参考訳）: 効率的な意味的コード検索のための高速・スローモデル
• Authors: Akhilesh Deepak Gotmare and Junnan Li and Shafiq Joty, Steven C.H. Hoi
• Abstract要約: 本稿では,高速かつ低速なモデルを用いた効率的かつ高精度な意味コード検索フレームワークを提案する。 提案したカスケードアプローチは効率的でスケーラブルなだけでなく,最先端の結果も達成している。
• 参考スコア（独自算出の注目度）: 46.53530668938728
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The goal of natural language semantic code search is to retrieve a semantically relevant code snippet from a fixed set of candidates using a natural language query. Existing approaches are neither effective nor efficient enough towards a practical semantic code search system. In this paper, we propose an efficient and accurate semantic code search framework with cascaded fast and slow models, in which a fast transformer encoder model is learned to optimize a scalable index for fast retrieval followed by learning a slow classification-based re-ranking model to improve the performance of the top K results from the fast retrieval. To further reduce the high memory cost of deploying two separate models in practice, we propose to jointly train the fast and slow model based on a single transformer encoder with shared parameters. The proposed cascaded approach is not only efficient and scalable, but also achieves state-of-the-art results with an average mean reciprocal ranking (MRR) score of 0.7795 (across 6 programming languages) as opposed to the previous state-of-the-art result of 0.713 MRR on the CodeSearchNet benchmark.
• Abstract（参考訳）: natural language semantic code searchの目標は、自然言語クエリを使用して、固定された候補セットから意味的に関連するコードスニペットを取得することである。 既存のアプローチは、実用的なセマンティックコード検索システムに対して効果も効率も十分ではない。 本稿では,高速なトランスフォーマエンコーダモデルを用いて,高速検索のためのスケーラブルなインデックスを最適化し,高速検索から上位k結果の性能を向上させるために,下位分類に基づく再ランク付けモデルを学習する,高速かつ遅いモデルを用いた効率的かつ正確な意味的コード探索フレームワークを提案する。 2つの異なるモデルを実際にデプロイする際の高メモリコストをさらに低減するため、共有パラメータを持つ単一トランスフォーマーエンコーダに基づいて高速で遅いモデルを共同で訓練することを提案する。 提案手法は効率が高くスケーラブルなだけでなく,CodeSearchNetベンチマークの0.713 MRRに対して平均相反性ランキング(MRR)スコアが0.7795(6つのプログラミング言語)である最先端結果も達成している。

関連論文リスト

• Constructing Tree-based Index for Efficient and Effective Dense Retrieval [26.706985694158384]
  JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。 我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。 実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-24T09:25:39Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• FastRE: Towards Fast Relation Extraction with Convolutional Encoder and Improved Cascade Binary Tagging Framework [13.4666880421568]
  本稿では,畳み込みエンコーダと改良されたカスケードバイナリタグフレームワークに基づく高速関係抽出モデル(FastRE)を提案する。 FastREは、最先端モデルと比較して3～10倍のトレーニング速度、7～15倍の推論速度、1/100のパラメータを実現している。
  論文  参考訳（メタデータ） (2022-05-05T07:59:51Z)
• Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning [27.04857039060308]
  検索システムを構築するために,両世界の長所を組み合わせることを提案する。 従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。 我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
  論文  参考訳（メタデータ） (2021-10-01T01:32:33Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)
• Finding Fast Transformers: One-Shot Neural Architecture Search by Component Composition [11.6409723227448]
  トランスフォーマーベースのモデルは、自然言語処理における多くのタスクにおいて最先端の結果を得た。 モデル品質を維持しつつ,高速なモデル探索を行うアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-08-15T23:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。