論文の概要: MAP4CS: A Multi-dimensional Data Pruning Framework for Efficient Code Retriever Fine-tuning

• arxiv url: http://arxiv.org/abs/2610.11727v1
• Date: Thu, 08 Oct 2026 11:25:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.977174
• Title: MAP4CS: A Multi-dimensional Data Pruning Framework for Efficient Code Retriever Fine-tuning
• Title（参考訳）: MAP4CS: 効率的なコード検索ファインチューニングのための多次元データ処理フレームワーク
• Abstract要約: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)をドメイン固有の知識で拡張するソフトウェア工学の基盤となっている。 大規模なコードコーパスに固有のノイズと冗長性のため、レトリバーをコードリポジトリの進化に適応することは依然として難しい。 本稿では,適応型データプルーニングフレームワークMAP4CSを提案する。
• 参考スコア（独自算出の注目度）: 18.823883930979747
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) has become a cornerstone in software engineering for enhancing Large Language Models (LLMs) with domain-specific knowledge. However, adapting retrievers to evolving code repositories remains challenging due to the noise and redundancy inherent in massive code corpora. Standard fine-tuning on the full corpus is computationally expensive and often leads to sub-optimal performance due to negative transfer from low-quality samples. Conversely, simple random sampling fails to guarantee data representativeness. To address these challenges, we propose MAP4CS (Multi-dimensional Awareness Pruning for Code Search), an adaptive data pruning framework. MAP4CS identifies a small, high-quality core subset by integrating syntactic structure, semantic diversity, and distributional representation, followed by a rigorous rule-based filtering pipeline. Extensive experiments on two large-scale datasets demonstrate that MAP4CS consistently outperforms random sampling baselines using only 5% of the training data. Remarkably, it achieves performance comparable to, or even superior to, fine-tuning on the full dataset, validating the ''less is more'' hypothesis in data-centric AI. Furthermore, linguistic analysis reveals an adaptive optimization mechanism: MAP4CS automatically functions as a de-duplicator for redundant corpora and a denoiser for chaotic ones, constructing a training corpus that is both lexically diverse and information-dense.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)をドメイン固有の知識で拡張するソフトウェア工学の基盤となっている。 しかし、大規模なコードコーパスに固有のノイズと冗長性のため、レトリバーをコードリポジトリの進化に適用することは依然として困難である。 フルコーパスの標準的な微調整は計算コストが高く、しばしば低品質サンプルからの負の転送による最適以下の性能をもたらす。 逆に、単純なランダムサンプリングはデータの代表性を保証するのに失敗する。 これらの課題に対処するため、適応型データプルーニングフレームワークMAP4CS(Multi-dimensional Awareness Pruning for Code Search)を提案する。 MAP4CSは、構文構造、意味的多様性、分布表現を統合し、厳密な規則に基づくフィルタリングパイプラインを統合することで、小型で高品質なコアサブセットを識別する。 2つの大規模データセットに対する大規模な実験により、MAP4CSはトレーニングデータの5%しか使用せず、ランダムサンプリングベースラインを一貫して上回っていることが示された。 注目すべきなのは、データ中心のAIにおける‘less is more’仮説を検証することで、完全なデータセットの微調整に匹敵する、あるいは、さらに優れたパフォーマンスを実現することだ。 MAP4CSは冗長コーパスとカオスコーパスの分離器として自動的に機能し、語彙的に多様かつ情報密度の訓練コーパスを構築する。

関連論文リスト

• On Representation Redundancy in Large-Scale Instruction Tuning Data Selection [20.850719141827664]
  意味表現類似性のレンズによる命令調整データ選択について検討する。 圧縮表現データ選択(CRDS, Compressed Representation Data Selection)は2種類の新しいフレームワークである。 実験により、両変種はデータ品質を大幅に向上し、最先端の表現ベース選択法を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-14T13:35:34Z)
• Beyond Quantity: Trajectory Diversity Scaling for Code Agents [51.71414642763219]
  Trajectory Diversity Scalingは、コードエージェントのためのデータ合成フレームワークである。 TDScalingは、(1)実際のサービスの論理的依存関係をキャプチャするBusiness Clusterメカニズム、(2)軌道コヒーレンスを強制するブループリント駆動のマルチエージェントパラダイム、(3)ロングテールシナリオを指向する適応的な進化メカニズムの4つの革新を統合しています。
  論文  参考訳（メタデータ） (2026-02-03T07:43:03Z)
• David vs. Goliath: A comparative study of different-sized LLMs for code generation in the domain of automotive scenario generation [1.6752458252726459]
  大きな言語モデル(LLM)を持つNL-to-Scenic生成は、少ないデータ、限られたメトリクスに悩まされる。 NL2Scenicは146組のNL/Scenicペアを持つオープンデータセットとフレームワークであり、難易度の高い30ケースのテスト分割とサンプルレトリバーを紹介する。 4つのプロプライエタリ(GPT-4o, GPT-5, Claude-Sonnet-4, Gemini-2.5-pro)と9つのオープンソースコードモデル(Qwen2.5Coder 0.5B-32B; CodeLlama 7B/13B/34B)を評価した。
  論文  参考訳（メタデータ） (2025-10-15T21:37:02Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding [2.2491281629568687]
  HeteroSpecは投機的復号化フレームワークで、検証の労力を候補の不確実性に比例して割り当てる。 平均4.24$times$decoding speedup over-of-the-artメソッドを提供する。 HeteroSpecはモデルの再トレーニングを必要とせず、他の推論最適化と互換性がある。
  論文  参考訳（メタデータ） (2025-05-19T15:38:40Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Classification Algorithm of Speech Data of Parkinsons Disease Based on Convolution Sparse Kernel Transfer Learning with Optimal Kernel and Parallel Sample Feature Selection [14.1270098940551]
  スパースカーネル転送学習に基づく新しいPD分類アルゴリズムを提案する。 スパース伝達学習は公共データセットからPD音声の特徴構造情報を抽出するために用いられる。 提案アルゴリズムは、分類精度が明らかに向上する。
  論文  参考訳（メタデータ） (2020-02-10T13:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。