論文の概要: CoIR: A Comprehensive Benchmark for Code Information Retrieval Models

• arxiv url: http://arxiv.org/abs/2407.02883v1
• Date: Wed, 3 Jul 2024 07:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:15:24.734215
• Title: CoIR: A Comprehensive Benchmark for Code Information Retrieval Models
• Title（参考訳）: CoIR: コード情報検索モデルのための総合ベンチマーク
• Authors: Xiangyang Li, Kuicai Dong, Yi Quan Lee, Wei Xia, Yichun Yin, Hao Zhang, Yong Liu, Yasheng Wang, Ruiming Tang,
• Abstract要約: textbfInformation textbfRetrieval Benchmark(textbfInformation textbfRetrieval Benchmark)は,コード検索機能の評価に特化して設計された,堅牢で包括的なベンチマークである。 名前は、Textbftenを巧みにキュレートしたコードデータセットから成り、textbfs7の異なるドメインにまたがる、textbfeight特有の検索タスクにまたがる。 我々は9つの広く使われている検索モデルを名前を用いて評価し、最先端のシステムであってもコード検索タスクの実行に重大な困難を見出した。
• 参考スコア（独自算出の注目度）: 56.691926887209895
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Despite the substantial success of Information Retrieval (IR) in various NLP tasks, most IR systems predominantly handle queries and corpora in natural language, neglecting the domain of code retrieval. Code retrieval is critically important yet remains under-explored, with existing methods and benchmarks inadequately representing the diversity of code in various domains and tasks. Addressing this gap, we present \textbf{\name} (\textbf{Co}de \textbf{I}nformation \textbf{R}etrieval Benchmark), a robust and comprehensive benchmark specifically designed to assess code retrieval capabilities. \name comprises \textbf{ten} meticulously curated code datasets, spanning \textbf{eight} distinctive retrieval tasks across \textbf{seven} diverse domains. We first discuss the construction of \name and its diverse dataset composition. Further, we evaluate nine widely used retrieval models using \name, uncovering significant difficulties in performing code retrieval tasks even with state-of-the-art systems. To facilitate easy adoption and integration within existing research workflows, \name has been developed as a user-friendly Python framework, readily installable via pip. It shares same data schema as other popular benchmarks like MTEB and BEIR, enabling seamless cross-benchmark evaluations. Through \name, we aim to invigorate research in the code retrieval domain, providing a versatile benchmarking tool that encourages further development and exploration of code retrieval systems\footnote{\url{ https://github.com/CoIR-team/coir}}.
• Abstract（参考訳）: 様々なNLPタスクにおいて情報検索(IR)がかなり成功したにもかかわらず、ほとんどのIRシステムは、主に自然言語でクエリやコーパスを処理し、コード検索の領域を無視している。 コード検索は重要な部分ですが、既存のメソッドやベンチマークはさまざまなドメインやタスクにおけるコードの多様性を不十分に表現しています。 このギャップに対処するため、コード検索機能を評価するために特別に設計された堅牢で包括的なベンチマークである \textbf{\name} (\textbf{Co}de \textbf{I}nformation \textbf{R}etrieval Benchmark) を提示する。 \name は \textbf{ten} に精巧にキュレートされたコードデータセットで構成されており、さまざまなドメインにまたがる固有の検索タスクにまたがっている。 まず, \name の構成とその多種多様なデータセットの構成について論じる。 さらに, \name を用いた9種類の検索モデルの評価を行い, 最先端システムにおいても, コード検索作業の難しさを明らかにした。 既存の研究ワークフローへの導入と統合を容易にするため、 \nameはユーザフレンドリなPythonフレームワークとして開発され、簡単にpip経由でインストールできる。 MTEBやBEIRといった他の一般的なベンチマークと同じデータスキーマを共有しており、シームレスなベンチマーク間評価を可能にしている。 コード検索システムのさらなる開発と探索を促進する汎用的なベンチマークツールを提供する。footnote{\url{ https://github.com/CoIR-team/coir}}。

関連論文リスト

• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Semi-Structured Query Grounding for Document-Oriented Databases with Deep Retrieval and Its Application to Receipt and POI Matching [23.52046767195031]
  半構造化データにおけるクエリグラウンドリング問題に対する埋め込み型検索の実践的課題に対処することを目的としている。 クエリとデータベースの両方のエントリの埋め込みと検索において,モジュールの最も効果的な組み合わせを見つけるために,広範な実験を行う。 提案モデルでは,従来の手動パターンモデルよりも大幅に優れ,開発コストやメンテナンスコストの低減が図られている。
  論文  参考訳（メタデータ） (2022-02-23T05:32:34Z)
• Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
  本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。 まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。 特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
  論文  参考訳（メタデータ） (2020-10-24T14:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。