論文の概要: Mastering the Craft of Data Synthesis for CodeLLMs

• arxiv url: http://arxiv.org/abs/2411.00005v1
• Date: Wed, 16 Oct 2024 11:57:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 13:03:28.087195
• Title: Mastering the Craft of Data Synthesis for CodeLLMs
• Title（参考訳）: CodeLLMのためのデータ合成の工芸を習得する
• Authors: Meng Chen, Philip Arthur, Qianyu Feng, Cong Duy Vu Hoang, Yu-Heng Hong, Mahdi Kazemi Moghaddam, Omid Nezami, Thien Nguyen, Gioacchino Tangari, Duy Vu, Thanh Vu, Mark Johnson, Krishnaram Kenthapadi, Don Dharmasiri, Long Duong, Yuan-Fang Li,
• Abstract要約: 大規模な言語モデル(LLM)は、エンコード理解と生成において素晴らしいパフォーマンスを示している。 データ合成とフィルタリング技術は広く採用されており、この文脈では非常に効果的であることが示されている。
• 参考スコア（独自算出の注目度）: 30.619678422440938
• License:
• Abstract: Large language models (LLMs) have shown impressive performance in \emph{code} understanding and generation, making coding tasks a key focus for researchers due to their practical applications and value as a testbed for LLM evaluation. Data synthesis and filtering techniques have been widely adopted and shown to be highly effective in this context. In this paper, we present a focused survey and taxonomy of these techniques, emphasizing recent advancements. We highlight key challenges, explore future research directions, and offer practical guidance for new researchers entering the field.
• Abstract（参考訳）: 大規模言語モデル(LLM)は,LLM評価の実践的応用とテストベッドとしての価値から,コーディングタスクを研究者にとって重要な焦点にしている。 データ合成とフィルタリング技術は広く採用されており、この文脈では非常に効果的であることが示されている。 本稿では,近年の進歩に注目した,これらの手法の焦点を絞った調査と分類について述べる。 我々は、重要な課題を強調し、将来の研究方向を探究し、新しい研究者がこの分野に入るための実践的なガイダンスを提供する。

関連論文リスト

• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Reconciling Methodological Paradigms: Employing Large Language Models as Novice Qualitative Research Assistants in Talent Management Research [1.0949553365997655]
  本研究では,RAGに基づくLarge Language Models (LLMs) を用いた面接文の解析手法を提案する。 この研究の斬新さは、初歩的な研究助手として機能するLSMによって強化された研究調査をストラテジー化することにある。 以上の結果から, LLM拡張RAGアプローチは, 手動で生成したトピックと比較して, 興味のあるトピックを抽出できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-20T17:49:51Z)
• MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
  我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。 MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。 我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
  論文  参考訳（メタデータ） (2024-06-10T15:19:09Z)
• Generative AI for Synthetic Data Generation: Methods, Challenges and the Future [12.506811635026907]
  大規模言語モデル(LLM)から合成データを生成する研究の最近の動向 本稿では,タスク固有トレーニングデータの生成にこれらの巨大なLCMを活用する高度な技術について述べる。
  論文  参考訳（メタデータ） (2024-03-07T03:38:44Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows [72.40917624485822]
  我々は、研究者が強力な大規模言語モデルを実装することができるオープンソースのPythonライブラリであるDataDreamerを紹介した。 DataDreamerはまた、オープンサイエンスを促進するために提案するベストプラクティスに研究者が従うのを助ける。
  論文  参考訳（メタデータ） (2024-02-16T00:10:26Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• A Survey on Model Compression for Large Language Models [21.768293256849113]
  大規模言語モデル(LLM)は自然言語処理タスクをうまく変換した。 しかし、その大きなサイズと高い計算要求は、実用上の課題を提起する。 モデル圧縮はこれらの課題に対処するための重要な研究領域として浮上している。
  論文  参考訳（メタデータ） (2023-08-15T08:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。