論文の概要: Evaluating Semantic and Quality-Aware Retrieval for Source Code Repositories
- arxiv url: http://arxiv.org/abs/2607.09161v1
- Date: Fri, 10 Jul 2026 07:28:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.805177
- Title: Evaluating Semantic and Quality-Aware Retrieval for Source Code Repositories
- Title（参考訳）: ソースコードリポジトリのセマンティック検索と品質認識検索の評価
- Abstract要約: 本研究では,関数レベルの断片化,テキストとコードの埋め込み,ChromaDBベクトルストレージ,LLMに基づく品質メタデータ,セマンティック,品質フィルタ,ハイブリッド,自動ルーティングの4つの検索モードを組み合わせたプロトタイプ検索システムの評価を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keyword-based retrieval is limited for source-code repositories when queries are expressed in natural language or concern implementation intent and code quality rather than exact tokens. This study evaluates a prototype retrieval system that combines function-level fragmentation, text-and-code embeddings, ChromaDB vector storage, LLM-derived quality metadata, and four retrieval modes: semantic, quality-filtered, hybrid, and automatic routing. The concrete evaluation uses an educational C-code corpus. The full corpus contains 563 anonymized programmer identifiers and 8,951 C files; a reproducible 10% indexed sample contains 56 programmer identifiers, 847 files, and 3,839 fragments. Across 15 manually judged queries, semantic retrieval achieved nDCG@5 of 0.820, Success@5 of 0.800, and MRR of 0.644. The automatic router selected the expected mode for all 15 queries. In a small manual audit, LLM-derived quality scores were within one point of the manual assessment for 9 of 12 fragments. Within the reported query set, semantic retrieval was the strongest overall mode, while explicit quality metadata was most useful for explicitly quality-oriented queries.
- Abstract（参考訳）: キーワードベースの検索は、クエリが自然言語で表現される場合や、正確なトークンではなく実装意図やコード品質に関する場合、ソースコードリポジトリに限られる。
本研究では,関数レベルの断片化,テキストとコードの埋め込み,ChromaDBベクトルストレージ,LLMに基づく品質メタデータ,セマンティック,品質フィルタ,ハイブリッド,自動ルーティングの4つの検索モードを組み合わせたプロトタイプ検索システムの評価を行った。
具体的な評価は教育用Cコードコーパスを使用する。
完全なコーパスには、563の匿名化されたプログラマ識別子と8,951のCファイルが含まれており、再現可能な10%のインデックス付きサンプルには56のプログラマ識別子、847のファイル、3,839の断片が含まれている。
15の質問に対して、意味検索は0.820のnDCG@5、Succes@5の0.800、MRRの0.644を達成した。
自動ルータは、全15クエリの予測モードを選択した。
手作業による小さな監査では, LLM由来の品質スコアが12のフラグメント中9のマニュアルアセスメントの1ポイント以内であった。
報告されたクエリセットの中では、セマンティック検索が最強の全体モードであり、明示的な品質メタデータは、明確に品質指向のクエリに最も有用であった。
関連論文リスト
- Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning [0.0]
ノベルティ・アウェア・リサーチ・エージェント(英: Novelty-Aware Research Agent)は、エージェント検索システムのプロトタイプである。
RAGパイプライン上の多段階推論を6つのタイプドコントラクトコンポーネントを通じて階層化する。
論文毎のコントリビューション記録、紙レベルのオーバーラップ、問題xメソッドギャップマトリックスなど、構造化された比較アーティファクトを生成する。
論文 参考訳（メタデータ） (2026-06-20T17:04:02Z) - On the Challenges and Opportunities of Learned Sparse Retrieval for Code [13.929722643500341]
SPLADE-Codeは、コード検索に特化した学習スパース検索モデルの最初の大規模ファミリである。
本研究では,SPLADE-Codeが1Bパラメータ下での検索者間の最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2026-03-23T14:14:08Z) - CLARC: C/C++ Benchmark for Robust Code Search [2.225731679677886]
現実のGitHubリポジトリから構築されたC/C++ベンチマークであるCLARCを紹介します。
Clarcには、評価用の1,245のクエリコードペアと、トレーニング用の5,472のペアが含まれている。
論文 参考訳（メタデータ） (2026-03-04T18:57:37Z) - Assertion-Aware Test Code Summarization with Large Language Models [0.0]
単体テストは、テスト意図を伝える簡潔な要約を欠くことが多い。
本稿では,開発者による要約と組み合わせた実世界のJavaテストケース91のベンチマークを示す。
論文 参考訳（メタデータ） (2025-11-09T04:58:32Z) - BigCodeArena: Unveiling More Reliable Human Preferences in Code Generation via Execution [68.95247403447051]
BigCodeArenaは、包括的でオンザフライな実行環境を背景とした、コード生成のためのオープンなヒューマン評価プラットフォームである。
10の言語と8種類の実行環境にまたがる10のLLMで14,000以上の生のコード中心の会話セッションを収集しました。
BigCodeRewardでは、4700件の会話を後処理し、報酬モデルと人間の好みの一貫性を評価した。
論文 参考訳（メタデータ） (2025-10-09T18:01:47Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - MERIT: Multilingual Semantic Retrieval with Interleaved Multi-Condition Query [91.01970848241075]
MERITは、インターリーブされたマルチ条件セマンティック検索のための最初の多言語データセットである。
本稿では,多条件セマンティック検索のための最初の多言語データセットであるMERITを紹介する。
論文 参考訳（メタデータ） (2025-06-03T17:59:14Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z) - Unsupervised Text Representation Learning via Instruction-Tuning for Zero-Shot Dense Retrieval [19.422003299376]
命令チューニングによる教師なしテキスト表現学習手法を提案する。
関連する合成クエリの表現によってコーパス表現を拡張できることを実証する。
我々は,全指標の平均ゼロショット検索性能を著しく改善した。
論文 参考訳（メタデータ） (2024-09-24T23:03:13Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z) - LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。
125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。
これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-03-04T15:34:12Z) - CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。
本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。
我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
論文 参考訳（メタデータ） (2021-05-27T15:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。