論文の概要: Condor: A Code Discriminator Integrating General Semantics with Code Details

• arxiv url: http://arxiv.org/abs/2412.17429v1
• Date: Mon, 23 Dec 2024 09:47:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:25.413398
• Title: Condor: A Code Discriminator Integrating General Semantics with Code Details
• Title（参考訳）: Condor: 一般的なセマンティックスとコードの詳細を統合するコード識別器
• Authors: Qingyuan Liang, Zhao Zhang, Chen Liu, Zeyu Sun, Wenjie Zhang, Yizhou Chen, Zixiao Zhao, Qi Luo, Wentao Wang, Yanjie Jiang, Yingfei Xiong, Lu Zhang,
• Abstract要約: 本稿では,複数の生成結果から信頼性の高い出力を選択するための識別器であるCondorを紹介する。 まず、ベースモデルのコード表現を最適化するために、コントラスト学習を設計する。 そして、コード修正プロセスの中間データを利用して、識別者のトレーニングデータをさらに強化する。
• 参考スコア（独自算出の注目度）: 23.8408960677253
• License:
• Abstract: LLMs demonstrate significant potential across various software engineering tasks. However, they still face challenges in generating correct code on the first attempt when addressing complex requirements. Introducing a discriminator to select reliable outputs from multiple generated results is an effective way to enhance their reliability and stability. Currently, these discriminators fall into two categories: execution-based discriminators and non-execution-based discriminators. Execution-based discriminators face flexibility challenges due to difficulties in obtaining test cases and security concerns, while non-execution-based discriminators, although more flexible, struggle to capture subtle differences in code details. To maintain flexibility while improving the model's ability to capture fine-grained code details, this paper proposes Condor. We first design contrastive learning to optimize the code representations of the base model, enabling it to reflect differences in code details. Then, we leverage intermediate data from the code modification process to further enrich the discriminator's training data, enhancing its ability to discern code details. Experimental results indicate that on the subtle code difference dataset (i.e., CodeNanoFix), Condor significantly outperforms other discriminators in discriminative performance: Condor (1.3B) improves the discriminative F1 score of DeepSeek-Coder (1.3B) from 67% to 73%. In discriminating LLM-generated outputs, Condor (1.3B) and Condor (110M) raise the Pass@1 score of Meta-Llama-3.1-Instruct (70B) on the CodeNanoFix dataset from 52.64% to 62.63% and 59.64%, respectively. Moreover, Condor demonstrates strong generalization capabilities on the MBPP and APPS datasets. For example, Condor (1.3B) improves the Pass@1 of Meta-Llama-3.1-Instruct (70B) on the APPS dataset by 147.05%.
• Abstract（参考訳）: LLMは様々なソフトウェアエンジニアリングタスクにおいて大きな可能性を示している。 しかしながら、複雑な要求に対処する最初の試みにおいて、正しいコードを生成する上で、依然として課題に直面している。 複数の生成結果から信頼性の高い出力を選択するための判別器の導入は、信頼性と安定性を高める効果的な方法である。 現在、これらの差別者は、実行に基づく差別と実行に基づく差別の2つのカテゴリに分類される。 実行ベースの差別者は、テストケースとセキュリティ上の問題を取得するのが難しいため、柔軟性に直面するが、実行ベースの差別者は、より柔軟だが、コード詳細の微妙な違いを捉えるのに苦労する。 モデルが細粒度のコードの詳細をキャプチャする能力を改善しつつ、柔軟性を維持するために、この記事ではCondorを提案する。 まず、基本モデルのコード表現を最適化するために対照的な学習を設計し、コード詳細の違いを反映できるようにします。 そして、コード修正プロセスの中間データを利用して、識別者のトレーニングデータをさらに強化し、コードの詳細を識別する能力を高めます。 実験結果によると、微妙なコード差データセット(CodeNanoFixなど)では、Condorは差別的パフォーマンスにおいて他の差別者よりも大幅に優れており、Condor(1.3B)はDeepSeek-Coder(1.3B)の差別的F1スコアを67%から73%に改善している。 LLM出力の識別において、Condor (1.3B) とCondor (110M) はそれぞれ、CodeNanoFixデータセット上のMeta-Llama-3.1-Instruct (70B) のPass@1スコアを52.64%から62.63%に、59.64%に引き上げている。 さらに、CondorはMBPPとAPPSデータセット上で強力な一般化機能を示す。 例えば、Condor (1.3B)は、APPSデータセット上のMeta-Llama-3.1-Instruct (70B)のPass@1を147.05%改善している。

関連論文リスト

• Decorrelating Structure via Adapters Makes Ensemble Learning Practical for Semi-supervised Learning [50.868594148443215]
  コンピュータビジョンでは、従来のアンサンブル学習法は訓練効率が低いか、限られた性能を示す。 本稿では,視覚的タスクに適応器を用いたDecorrelating Structure(DSA)による軽量,損失関数なし,アーキテクチャに依存しないアンサンブル学習を提案する。
  論文  参考訳（メタデータ） (2024-08-08T01:31:38Z)
• Learnable Item Tokenization for Generative Recommendation [78.30417863309061]
  LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
  論文  参考訳（メタデータ） (2024-05-12T15:49:38Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• Refining Generative Process with Discriminator Guidance in Score-based Diffusion Models [15.571673352656264]
  ディスクリミネータガイダンスは、事前学習した拡散モデルのサンプル生成を改善することを目的としている。 GANとは異なり、我々の手法はスコアネットワークと差別ネットワークの合同トレーニングを必要としない。 検証データのFID (1.68) やリコール (0.66) と同様, ImageNet 256x256 で FID 1.83 をリコールし,0.64 をリコールした。
  論文  参考訳（メタデータ） (2022-11-28T20:04:12Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• Augmentation-Aware Self-Supervision for Data-Efficient GAN Training [68.81471633374393]
  識別器が過度に適合する傾向があるため、限られたデータでGANを訓練することは困難である。 本稿では,拡張データの拡張パラメータを予測する,拡張型自己教師型識別器を提案する。 本稿では,クラス条件の BigGAN と非条件の StyleGAN2 アーキテクチャを用いた State-of-the-art (SOTA) 手法と比較する。
  論文  参考訳（メタデータ） (2022-05-31T10:35:55Z)
• Selective Focusing Learning in Conditional GANs [13.264508791149987]
  条件付き生成逆数ネットワーク (cGAN) は, 複雑な生成タスクにおいて, クラスワイド制御性と優れた品質のため, 顕著な成功を収めている。 本稿では,識別器とジェネレータを併用して各クラスの簡単なサンプルを高速に学習する,簡易かつ効果的な学習手法を提案する。
  論文  参考訳（メタデータ） (2021-07-08T06:06:56Z)
• Hybrid Generative-Contrastive Representation Learning [32.84066504783469]
  コントラストと生成的損失の両方で訓練されたトランスフォーマーベースのエンコーダデコーダアーキテクチャは、生成性能を損なうことなく、高い識別性および堅牢性を持つ表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T04:23:48Z)
• Data-Efficient Instance Generation from Instance Discrimination [40.71055888512495]
  本稿では,インスタンス識別に基づくデータ効率の高いインスタンス生成手法を提案する。 本研究では,インスタンス識別に基づくデータ効率の高いインスタンス生成(InsGen)手法を提案する。
  論文  参考訳（メタデータ） (2021-06-08T17:52:59Z)
• Training GANs with Stronger Augmentations via Contrastive Discriminator [80.8216679195]
  本稿では,gan判別器にコントラスト表現学習方式を導入する。 この「融合」により、識別者は訓練の不安定さを増すことなく、より強力な増強に対処できる。 実験の結果,contratd付きganはfidを一貫して改善し,データ拡張を組み込んだ他の手法と比較した。
  論文  参考訳（メタデータ） (2021-03-17T16:04:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。