論文の概要: SynH-Rank: Quality-Aware Code Search via Diverse Data Synthesis and Hierarchical Ranking Training
- arxiv url: http://arxiv.org/abs/2607.17139v1
- Date: Sun, 19 Jul 2026 08:52:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.380327
- Title: SynH-Rank: Quality-Aware Code Search via Diverse Data Synthesis and Hierarchical Ranking Training
- Title（参考訳）: SynH-Rank: 分散データ合成と階層的ランク付けトレーニングによる品質を考慮したコード検索
- Abstract要約: 現在のコード検索システムは、リランカがクエリとコード間のセマンティックな関連性をモデル化することに集中する、検索-then-rerankパイプラインを使用することが多い。
我々は,LLMによる多種多様なデータ合成と階層的ランキングトレーニングを組み合わせた,品質に配慮したコードリグレードフレームワークであるSynH-Rankを提案する。
我々は,4,209ペアの新たなベンチマークと2つの新しい指標,QPA(Quality Preference Accuracy)とMCA(Multi-Condition Accuracy)を導入し,複雑な制約下での性能を評価する。
- 参考スコア（独自算出の注目度）: 10.063134179303118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code search enhances developer productivity by enabling efficient code reuse. Current code search systems often use a retrieve-then-rerank pipeline, where rerankers focus on modeling semantic relevance between queries and code. However, these rerankers overlook critical non-functional qualities like execution speed, memory usage, and maintainability, which are essential for practical software development. Studies reveal developers expect results to maintain high coding standards and satisfy specific needs, such as resource optimization, highlighting the importance of quality-aware code search. Achieving quality-aware code search faces two major challenges: the scarcity of quality-annotated datasets for effective training and the limitations of standard contrastive learning objectives, which fail to capture the ordinal relationships among high-quality, low-quality, and irrelevant code. Although contrastive learning excels in distinguishing relevant from irrelevant code, its binary objective does not support nuanced quality distinctions.To address these challenges, we propose SynH-Rank, a quality-aware code reranking framework that combines LLM-driven diverse data synthesis with hierarchical ranking training. SynH-Rank employs a three-level labeling scheme to explicitly model the hierarchy: high-quality relevant > low-quality relevant > irrelevant. Additionally, we introduce a new benchmark with 4,209 pairs and two novel metrics: Quality Preference Accuracy (QPA) for assessing prioritization of high-quality code and Multi-Condition Accuracy (MCA) for evaluating performance under complex constraints.Experimental results show SynH-Rank improves QPA by 20.15\% over backbone models and outperforms standard relevance-only contrastive training by 15.80\%, while simultaneously enhancing traditional relevance metrics and multi-condition generalizability.
- Abstract（参考訳）: コード検索は、効率的なコードの再利用を可能にすることによって、開発者の生産性を高める。
現在のコード検索システムは、リランカがクエリとコード間のセマンティックな関連性をモデル化することに集中する、検索-then-rerankパイプラインを使用することが多い。
しかしながら、これらのリランカは、実行速度、メモリ使用量、保守性など、実用的なソフトウェア開発に不可欠な重要な非機能品質を見落としている。
研究によると、開発者は高いコーディング標準を維持し、リソース最適化のような特定のニーズを満たすことを期待しており、品質に配慮したコード検索の重要性を強調している。
効果的なトレーニングのための品質アノテートデータセットの不足と、標準的なコントラスト学習目標の制限。
このような課題に対処するため,LLMによる多様なデータ合成と階層的なランキングトレーニングを組み合わせた,品質に配慮したコード再分類フレームワークであるSynH-Rankを提案する。
SynH-Rankは、階層を明示的にモデル化するために3段階のラベリングスキームを使用している。
さらに、4,209ペアの新たなベンチマークと2つの新しいメトリクスを導入した。高品質なコードの優先順位付けを評価する品質基準精度(QPA)と、複雑な制約下でのパフォーマンスを評価するマルチコンディション精度(MCA)である。実験結果から、SynH-Rankはバックボーンモデルよりも20.15倍改善し、標準のレバレンスのみのコントラストトレーニングを15.80倍向上し、従来のレバレンスメトリクスとマルチ条件の一般化性を同時に向上する。
関連論文リスト
- ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。
ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。
1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
論文 参考訳（メタデータ） (2026-07-01T09:58:59Z) - AXIOM: Benchmarking LLM-as-a-Judge for Code via Rule-Based Perturbation and Multisource Quality Calibration [28.117814524373667]
AXIOMは、大規模なコード評価ベンチマークを合成するための新しい摂動ベースのフレームワークである。
プログラムスコアをデプロイメントに必要な改善作業として再設定する。
論文 参考訳（メタデータ） (2025-12-23T08:39:22Z) - Compressed Video Quality Enhancement: Classifying and Benchmarking over Standards [7.991926266678548]
本稿では,アーキテクチャパラダイム,コーディング標準,圧縮ドメイン機能利用など,CVQEの手法を分類する新たな分類法を提案する。
第2に、公正なマルチ基準評価のために、現代的な圧縮プロトコルと標準テストシーケンスを統合する統一的なベンチマークフレームワークを提案する。
第3に、最先端の手法で観察される再構成性能と計算複雑性の間の重要なトレードオフを体系的に分析する。
論文 参考訳（メタデータ） (2025-09-12T16:58:20Z) - Beyond the Surface: A Solution-Aware Retrieval Model for Competition-level Code Generation [12.805684772054684]
競合プログラミングタスクのための合成データによって強化された解認識ランキングモデルであるSolveRankを提案する。
具体的には、DeepSeek-R1モデルを用いて、解の整合性についてGPT-4oで検証した、等価だが異なる言い換えられた新しい問題を生成する。
推論中、SolveRankは、ダウンストリームコードジェネレータを支援するために、コーパスから関連する問題と対応するコードを取得する。
論文 参考訳（メタデータ） (2025-09-01T04:47:51Z) - COMPASS: A Multi-Dimensional Benchmark for Evaluating Code Generation in Large Language Models [0.0]
我々は3次元にわたるコード生成を評価する包括的な評価フレームワーク、すなわち正確性、効率、品質を紹介します。
Anthropic Claude Opus 4、Google Gemini 2.5 Pro、OpenAI O4-Mini-Highの3つの主要な推論モデルの評価結果から、高い正確性スコアを達成するモデルは必ずしも効率的なアルゴリズムや保守可能なコードを生成するとは限らないことが判明した。
論文 参考訳（メタデータ） (2025-08-19T11:55:07Z) - ReasonRank: Empowering Passage Ranking with Strong Reasoning Ability [83.16850534680505]
本稿では,自動推論集約型トレーニングデータ合成フレームワークを提案する。
自己整合性データフィルタリング機構は、データ品質を保証するために設計されている。
トレーニングされた推論集約型リランカ textbfReasonRank は,BRIGHT のリーダボード上での最先端 (SOTA) のパフォーマンス40.6 を達成する。
論文 参考訳（メタデータ） (2025-08-09T17:26:18Z) - CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval [44.39462689088926]
CoQuIRは、品質を意識したコード検索を評価するために設計された、最初の大規模多言語ベンチマークである。
CoQuIRは、11のプログラミング言語で42,725のクエリと134,907のコードスニペットに対して、きめ細かい品質のアノテーションを提供する。
論文 参考訳（メタデータ） (2025-05-31T13:00:17Z) - CPRet: A Dataset, Benchmark, and Model for Retrieval in Competitive Programming [58.48683464644606]
競合プログラミングのための検索指向ベンチマークスイートであるCPRetを紹介する。
私たちのコントリビューションには、高品質なトレーニングデータと、信頼性評価のための時間的に分離されたテストセットの両方が含まれています。
問題コードアライメントのための新しいGroup-InfoNCE損失で訓練されたCPRetriever-Codeと、問題レベルの類似性を特定するための微調整されたCPRetriever-Probの2つのタスク専用レトリバーを開発する。
論文 参考訳（メタデータ） (2025-05-19T10:07:51Z) - Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。
RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。
本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:33:11Z) - IQPFR: An Image Quality Prior for Blind Face Restoration and Beyond [56.99331967165238]
Blind Face Restoration (BFR)は、劣化した低品質(LQ)の顔画像を高品質(HQ)の出力に再構成する課題に対処する。
本研究では,非参照画像品質評価(NR-IQA)モデルから得られた画像品質優先(IQP)を組み込んだ新しいフレームワークを提案する。
提案手法は,複数のベンチマークにおいて最先端技術より優れている。
論文 参考訳（メタデータ） (2025-03-12T11:39:51Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。