論文の概要: In-Context Code-Text Learning for Bimodal Software Engineering

• arxiv url: http://arxiv.org/abs/2410.18107v1
• Date: Tue, 08 Oct 2024 19:42:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 05:40:59.229551
• Title: In-Context Code-Text Learning for Bimodal Software Engineering
• Title（参考訳）: バイモーダル・ソフトウェア・エンジニアリングのためのインテクスト・コード・テキスト・ラーニング
• Authors: Xunzhu Tang, Liran Wang, Yonghui Liu, Linzheng Chai, Jian Yang, Zhoujun Li, Haoye Tian, Jacques Klein, Tegawende F. Bissyande,
• Abstract要約: バイモーダルなソフトウェア分析は、大きな言語モデルの出現とともに、当初は手の届くところにあるように見えた。 コードテキストのバイモーダル性に対するコンテキスト内学習は有望な道であると仮定する。 我々は、23のソフトウェアエンジニアリングタスクを含む多様なデータセットを考察し、コンテキスト内学習フォーマットで変換する。
• 参考スコア（独自算出の注目度）: 26.0027882745058
• License:
• Abstract: Bimodal software analysis initially appeared to be within reach with the advent of large language models. Unfortunately, the complex interplay of natural language text and code in software engineering, presents unique challenges that prevent pretrained models to generalize to a variety of tasks. We postulate that in-context learning for the code-text bimodality is a promising avenue. This paper thus introduces a comprehensive study of in-context code-text learning, focusing on leveraging pretrained CodeLLAMA models. We consider a diverse dataset encompassing 23 software engineering tasks, which we transform in an in-context learning format. To effectively extract informative features, we propose a configurable prompt template. Our proposed pipeline, InCTRL, then unifies prompt learning across various software engineering tasks. Extensive evaluation on the study datasets demonstrates the superiority of INCTRL-models in few-shot performance, surpassing state-of-the-art models including the support model, CodeLLAMA. Typically, we observe that applied to the CodeLLAMA model, INCTRL brings improvements in terms of precision (at least about 12\%) and recall (up to 93.88\%) on various tasks. For example, on the task of program repair, INCTRL improves the BLEU score of CodeLLAMA by 85 points, while for clone detection, INCTRL achieves an improvement of 69 percentage points. Moreover, INCTRL-models offer state-of-the-art performance when using retrieval-augmented generation on individual downstream tasks. Finally, we qualitatively analyze the benefits of INCTRL over CodeLLAMA and open-source all models for broader impact. We make our code and dataset publicly available at: \begin{center} {\url{https://anonymous.4open.science/r/inctrl-B65B}} \end{center}
• Abstract（参考訳）: バイモーダルなソフトウェア分析は、大きな言語モデルの出現とともに、当初は手の届くところにあるように見えた。 残念なことに、自然言語のテキストとソフトウェア工学におけるコードの複雑な相互作用は、事前訓練されたモデルが様々なタスクに一般化するのを防ぐ、ユニークな課題を提示している。 コードテキストのバイモーダル性に対するコンテキスト内学習は有望な道であると仮定する。 本稿では,事前学習したCodeLLAMAモデルを活用することに焦点を当てた,コンテキスト内コードテキスト学習に関する包括的な研究を紹介する。 我々は、23のソフトウェアエンジニアリングタスクを含む多様なデータセットを考察し、コンテキスト内学習フォーマットで変換する。 情報的特徴を効果的に抽出するために,構成可能なプロンプトテンプレートを提案する。 提案するパイプラインであるInCTRLは,さまざまなソフトウェアエンジニアリングタスクにおける迅速な学習を統一する。 研究データセットの大規模な評価は、サポートモデルであるCodeLLAMAを含む最先端モデルを上回る、数ショットのパフォーマンスにおいて、INCTRLモデルが優れていることを示す。 典型的には、CodeLLAMAモデルに適用されたINCTRLは、様々なタスクにおける精度(少なくとも12倍)とリコール(最大93.88倍)の改善をもたらす。 例えば、プログラム修復のタスクでは、INCTRLはCodeLLAMAのBLEUスコアを85ポイント改善し、クローン検出では69ポイント改善する。 さらに、INCTRLモデルは、個々の下流タスクで検索拡張生成を使用する場合、最先端のパフォーマンスを提供する。 最後に、CodeLLAMAに対するINCTRLの利点を質的に分析し、より広範なインパクトを得るためにすべてのモデルをオープンソース化する。 コードとデータセットを次のように公開しています。 \begin{center} {\url{https://anonymous.4open.science/r/inctrl-B65B}} \end{center}

関連論文リスト

• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code [24.936022005837415]
  我々は、70以上のモデル、40以上の評価タスク、180以上のデータセット、900以上の関連する作業を含む、言語モデルによるソフトウェア工学の最近の進歩についてレビューする。 私たちは、コード処理モデルを、GPTファミリで表される一般的な言語モデルと、特にコードで事前訓練された特殊なモデルに分解します。 また、要件エンジニアリング、テスト、デプロイメント、オペレーションを含む他のソフトウェアエンジニアリング活動において、LCMのアプリケーションをプログラミングし、レビューする余地もあります。
  論文  参考訳（メタデータ） (2023-11-14T08:34:26Z)
• Text Summarization Using Large Language Models: A Comparative Study of MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models [0.0]
  Leveraging Large Language Models (LLMs) は、要約技術の強化において、顕著な将来性を示している。 本稿では,MPT-7b-instruct,falcon-7b-instruct,OpenAI ChatGPT text-davinci-003 モデルなど,多種多様な LLM を用いたテキスト要約について検討する。
  論文  参考訳（メタデータ） (2023-10-16T14:33:02Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• KRLS: Improving End-to-End Response Generation in Task Oriented Dialog with Reinforced Keywords Learning [25.421649004269373]
  タスク指向ダイアログ(TOD)では、強化学習アルゴリズムがタスク関連メトリクスの応答を直接最適化するためにモデルを訓練する。 オフライン環境でのTOD性能を改善するために,より効率的なRLベースのアルゴリズムを提案する。 MultiWoZデータセットの実験では、我々の新しいトレーニングアルゴリズムであるKeywords Reinforcement Learning with Next-word Smpling (KRLS)が最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-11-30T06:27:46Z)
• Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models [58.42146641102329]
  我々は、新しい半パラメトリック言語モデルアーキテクチャ、Knowledge-in-Context(KiC)を開発した。 KiCは知識豊富な外部メモリを備えたパラメトリックテキスト-テキスト言語モデルを提供する。 知識豊富なセミパラメトリック言語モデルとして、KiCは、目に見えないタスクにおいて優れたゼロショットパフォーマンスを達成するために、はるかに小さな部分しか必要としない。
  論文  参考訳（メタデータ） (2022-10-28T23:18:43Z)
• Adding Context to Source Code Representations for Deep Learning [13.676416860721877]
  我々は、ディープラーニングモデルが分析対象のコードに関する追加のコンテキスト情報にアクセスできることは有益であると主張している。 本稿では,コード自体の情報とともに,コール階層からコンテキストを符号化することで,最先端のディープラーニングモデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-07-30T12:47:32Z)
• Precise Learning of Source Code Contextual Semantics via Hierarchical Dependence Structure and Graph Attention Networks [28.212889828892664]
  階層的な依存関係を組み込んだ新しいソースコードモデルを提案する。 本稿では,基本ブロックの構文構造,すなわち対応するASTをソースコードモデルに導入し,十分な情報を提供する。 その結果,本モデルではパラメータのスケールを50%削減し,プログラム分類タスクの精度を4%向上させることができた。
  論文  参考訳（メタデータ） (2021-11-20T04:03:42Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。