論文の概要: Diverse Title Generation for Stack Overflow Posts with Multiple Sampling Enhanced Transformer

• arxiv url: http://arxiv.org/abs/2208.11523v1
• Date: Wed, 24 Aug 2022 13:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 13:04:06.493153
• Title: Diverse Title Generation for Stack Overflow Posts with Multiple Sampling Enhanced Transformer
• Title（参考訳）: マルチサンプリングエンハンストランスを用いたスタックオーバーフローポストの多様なタイトル生成
• Authors: Fengji Zhang, Jin Liu, Yao Wan, Xiao Yu, Xiao Liu, Jacky Keung
• Abstract要約: 与えられたコードスニペットから複数のポストタイトルを自動的に生成する新しい手法であるM$_3$NSCT5を提案する。 M$_3$NSCT5は、言語理解に優れたトレーニング済みトランスフォーマーモデルであるCodeT5のバックボーンを使用している。 M$_3$NSCT5の有効性を検証するため、8つのプログラミング言語をカバーする890,000の質問ポストを持つ大規模データセットを構築した。
• 参考スコア（独自算出の注目度）: 11.03785369838242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stack Overflow is one of the most popular programming communities where developers can seek help for their encountered problems. Nevertheless, if inexperienced developers fail to describe their problems clearly, it is hard for them to attract sufficient attention and get the anticipated answers. We propose M$_3$NSCT5, a novel approach to automatically generate multiple post titles from the given code snippets. Developers may use the generated titles to find closely related posts and complete their problem descriptions. M$_3$NSCT5 employs the CodeT5 backbone, which is a pre-trained Transformer model having an excellent language understanding and generation ability. To alleviate the ambiguity issue that the same code snippets could be aligned with different titles under varying contexts, we propose the maximal marginal multiple nucleus sampling strategy to generate multiple high-quality and diverse title candidates at a time for the developers to choose from. We build a large-scale dataset with 890,000 question posts covering eight programming languages to validate the effectiveness of M$_3$NSCT5. The automatic evaluation results on the BLEU and ROUGE metrics demonstrate the superiority of M$_3$NSCT5 over six state-of-the-art baseline models. Moreover, a human evaluation with trustworthy results also demonstrates the great potential of our approach for real-world application.
• Abstract（参考訳）: Stack Overflowは、開発者が遭遇した問題の助けを求めることができる最も人気のあるプログラムコミュニティの1つである。 それでも、経験不足の開発者が問題を明確に説明できなければ、十分な注意を引き付けて、期待される回答を得ることは困難である。 与えられたコードスニペットから複数のポストタイトルを自動的に生成する新しい手法であるM$_3$NSCT5を提案する。 開発者は生成したタイトルを使って、関連する投稿を見つけ、問題記述を完成させることができる。 M$_3$NSCT5は、言語理解と生成能力に優れたトレーニング済みトランスフォーマーモデルであるCodeT5のバックボーンを使用している。 異なるコンテキスト下で同じコードスニペットが異なるタイトルに一致できるという曖昧さの問題を緩和するため,開発者が選択できる時間に複数の高品質で多様なタイトル候補を生成するために,最大辺多重核サンプリング戦略を提案する。 M$_3$NSCT5の有効性を検証するため、8つのプログラミング言語をカバーする890,000の質問ポストを持つ大規模データセットを構築した。 BLEUおよびROUGE測定値の自動評価結果は、6つの最先端ベースラインモデルよりもM$_3$NSCT5の方が優れていることを示す。 さらに、信頼できる結果を得た人間評価は、現実世界のアプリケーションに対する我々のアプローチの素晴らしい可能性を示しています。

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Uncovering Weaknesses in Neural Code Generation [21.552898575210534]
  マッチングベースのメトリクスと実行ベースのメトリクスを用いて生成されたコードの品質を評価し、その後、セマンティック分析を行い、9種類の弱点の分類法を開発する。 CoNaLaデータセットでは、不正確なプロンプトが顕著な問題であり、すべての大きなモデルが26.84%のケースで失敗する。 CoNaLaタスクの65.78%でキーセマンティクスを省略する1つ以上の大きなモデルがある。 すべてのモデルは、あいまいなプロンプトや複雑なプロンプトによって増幅された、適切なAPI使用に苦しむ。
  論文  参考訳（メタデータ） (2024-07-13T07:31:43Z)
• Good things come in three: Generating SO Post Titles with Pre-Trained Models, Self Improvement and Post Ranking [5.874782446136913]
  Stack Overflowは著名なQとAフォーラムであり、開発者がプログラミング関連の問題に適切なリソースを求めるのをサポートする。 高品質な質問タイトルを持つことは、開発者の注意を引き付ける効果的な手段である。 主にトレーニング済みのモデルを活用して、コードスニペットや問題記述からタイトルを生成する研究が行われている。 自己改善とポストランキングを備えた微調整言語モデルを用いて,Stack Overflowのポストタイトルを生成するソリューションとしてFILLERを提案する。
  論文  参考訳（メタデータ） (2024-06-21T20:18:34Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Validating LLM-Generated Programs with Metamorphic Prompt Testing [8.785973653167112]
  大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクルにますます統合されています。 本稿では,これらの課題に対処するため,メタモルフィック・プロンプト・テストと呼ばれる新しい手法を提案する。 我々のHumanEvalに対する評価は,GPT-4が生成する誤プログラムの75%を,偽陽性率8.6%で検出できることを示す。
  論文  参考訳（メタデータ） (2024-06-11T00:40:17Z)
• Automatic Bi-modal Question Title Generation for Stack Overflow with Prompt Learning [10.76882347665857]
  最初の研究は、質問本体のコードスニペットだけを分析してタイトルを自動的に生成することを目的としていた。 本稿では,問題本体のバイモーダル情報(コードスニペットと問題記述)を考慮し,SOTitle+のアプローチを提案する。 私たちのコーパスには、人気のある6つのプログラミング言語に対する179,119の質の高い質問投稿が含まれています。
  論文  参考訳（メタデータ） (2024-03-06T12:58:25Z)
• PPM: Automated Generation of Diverse Programming Problems for Benchmarking Code Generation Models [10.491051578439722]
  本稿では,PPM(Programling problem merging)の概念を提案し,この概念の2つの実装を提供し,このツールを広く利用されている2つのデータセット上で活用する。 その結果、より困難で多様な、そして自然なプログラミング問題を生み出す上で、我々のツールの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-28T02:27:38Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
  大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。 アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。 この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models [58.41943058963672]
  我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。 RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。 GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
  論文  参考訳（メタデータ） (2023-06-12T06:34:16Z)
• Coder Reviewer Reranking for Code Generation [56.80381384717]
  本稿では,コード言語モデルから多様なプログラムを抽出し,モデル確率で再ランク付けする手法として,Coder-Reviewerの再ランク付けを提案する。 実験の結果、Coder-Reviewerのリランクは、Coderモデルのみのリランクよりも一貫性と大幅な改善をもたらすことが示された。 Coder-Reviewerのリランクは、プロンプトによって実装が容易で、異なるプログラミング言語に一般化でき、既定のハイパーパラメータとうまく機能する。
  論文  参考訳（メタデータ） (2022-11-29T18:56:33Z)
• $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation [65.29170569821093]
  並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。 本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。 実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T07:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。