論文の概要: Good things come in three: Generating SO Post Titles with Pre-Trained Models, Self Improvement and Post Ranking
- arxiv url: http://arxiv.org/abs/2406.15633v1
- Date: Fri, 21 Jun 2024 20:18:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 21:24:18.071941
- Title: Good things come in three: Generating SO Post Titles with Pre-Trained Models, Self Improvement and Post Ranking
- Title（参考訳）: 良い点が3つある: 事前学習モデルによるSOポストタイトルの生成、自己改善とポストランク付け
- Authors: Duc Anh Le, Anh M. T. Bui, Phuong T. Nguyen, Davide Di Ruscio,
- Abstract要約: Stack Overflowは著名なQとAフォーラムであり、開発者がプログラミング関連の問題に適切なリソースを求めるのをサポートする。
高品質な質問タイトルを持つことは、開発者の注意を引き付ける効果的な手段である。
主にトレーニング済みのモデルを活用して、コードスニペットや問題記述からタイトルを生成する研究が行われている。
自己改善とポストランキングを備えた微調整言語モデルを用いて,Stack Overflowのポストタイトルを生成するソリューションとしてFILLERを提案する。
- 参考スコア（独自算出の注目度）: 5.874782446136913
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Stack Overflow is a prominent Q and A forum, supporting developers in seeking suitable resources on programming-related matters. Having high-quality question titles is an effective means to attract developers' attention. Unfortunately, this is often underestimated, leaving room for improvement. Research has been conducted, predominantly leveraging pre-trained models to generate titles from code snippets and problem descriptions. Yet, getting high-quality titles is still a challenging task, attributed to both the quality of the input data (e.g., containing noise and ambiguity) and inherent constraints in sequence generation models. In this paper, we present FILLER as a solution to generating Stack Overflow post titles using a fine-tuned language model with self-improvement and post ranking. Our study focuses on enhancing pre-trained language models for generating titles for Stack Overflow posts, employing a training and subsequent fine-tuning paradigm for these models. To this end, we integrate the model's predictions into the training process, enabling it to learn from its errors, thereby lessening the effects of exposure bias. Moreover, we apply a post-ranking method to produce a variety of sample candidates, subsequently selecting the most suitable one. To evaluate FILLER, we perform experiments using benchmark datasets, and the empirical findings indicate that our model provides high-quality recommendations. Moreover, it significantly outperforms all the baselines, including Code2Que, SOTitle, CCBERT, M3NSCT5, and GPT3.5-turbo. A user study also shows that FILLER provides more relevant titles, with respect to SOTitle and GPT3.5-turbo.
- Abstract（参考訳）: Stack Overflowは著名なQとAフォーラムであり、開発者がプログラミング関連の問題に適切なリソースを求めるのをサポートする。
高品質な質問タイトルを持つことは、開発者の注意を引き付ける効果的な手段である。
残念ながら、これはしばしば過小評価され、改善の余地を残します。
主にトレーニング済みのモデルを活用して、コードスニペットや問題記述からタイトルを生成する研究が行われている。
しかし、高品質なタイトルを取得することは依然として難しい課題であり、入力データの品質(例えば、ノイズと曖昧さを含む)とシーケンス生成モデル固有の制約の両方に起因する。
本稿では、自己改善とポストランキングを備えた微調整言語モデルを用いて、Stack Overflowポストタイトルを生成するソリューションとしてFILLERを提案する。
本研究は,Stack Overflowポストのタイトル生成のための事前学習言語モデルの強化と,これらのモデルに対するトレーニングおよびその後の微調整パラダイムの利用に焦点を当てた。
この目的のために、モデルの予測をトレーニングプロセスに統合し、エラーから学習できるようにし、露光バイアスの影響を減らす。
さらに, 各種サンプル候補の作成にポストグレード法を適用し, 続いて最も適した候補を選択する。
FILLERを評価するために、ベンチマークデータセットを用いて実験を行い、実験結果から、我々のモデルが高品質なレコメンデーションを提供することを示す。
さらに、Code2Que、SOTitle、CCBERT、M3NSCT5、GPT3.5-turboなど、すべてのベースラインを著しく上回る。
ユーザ調査によると、FILLERはSOTitleやGPT3.5-turboに関して、より関連性の高いタイトルを提供している。
関連論文リスト
- TÜLU 3: Pushing Frontiers in Open Language Model Post-Training [94.14908801708049]
我々は、完全にオープンな最先端の訓練後モデルであるT"ULU 3を紹介する。
T"ULU 3はLlama 3.1ベースモデルをベースにしており、Llama 3.1、Qwen 2.5、Mistral、さらにGPT-4o-mini、Claude 3.5-Haikuといったクローズドモデルにも勝っている。
論文 参考訳（メタデータ） (2024-11-22T18:44:04Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - An Energy-based Model for Word-level AutoCompletion in Computer-aided Translation [97.3797716862478]
Word-level AutoCompletion (WLAC) は、コンピュータ支援翻訳における報奨だが挑戦的なタスクである。
既存の作業は、入力コンテキストの隠れベクターを対応するラベルにマッピングするニューラルネットワークに基づく分類モデルを通じて、このタスクに対処する。
そこで本研究では,WLACのエネルギーモデルを提案する。
論文 参考訳（メタデータ） (2024-07-29T15:07:19Z) - Automatic Bi-modal Question Title Generation for Stack Overflow with
Prompt Learning [10.76882347665857]
最初の研究は、質問本体のコードスニペットだけを分析してタイトルを自動的に生成することを目的としていた。
本稿では,問題本体のバイモーダル情報(コードスニペットと問題記述)を考慮し,SOTitle+のアプローチを提案する。
私たちのコーパスには、人気のある6つのプログラミング言語に対する179,119の質の高い質問投稿が含まれています。
論文 参考訳（メタデータ） (2024-03-06T12:58:25Z) - Automating Human Tutor-Style Programming Feedback: Leveraging GPT-4 Tutor Model for Hint Generation and GPT-3.5 Student Model for Hint Validation [25.317788211120362]
本稿では,人間の教師型プログラミングヒントの提供における生成型AIモデルの役割について検討する。
最近の研究は、様々なフィードバック生成シナリオのための最先端モデルのベンチマークを行っている。
我々はGPT4Hints-GPT3.5Valという新しい手法を開発し、生成AIモデルの限界を推し進める。
論文 参考訳（メタデータ） (2023-10-05T17:02:59Z) - Large Language Models in the Workplace: A Case Study on Prompt
Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。
目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文 参考訳（メタデータ） (2023-03-13T14:09:53Z) - Representation Learning for Stack Overflow Posts: How Far are We? [14.520780251680586]
最先端のStack Overflowポスト表現モデルはPost2VecとBERTOverflowである。
有望な結果にもかかわらず、これらの表現法は同じ実験環境では評価されていない。
本稿では,SOBERTを提案する。
論文 参考訳（メタデータ） (2023-03-13T04:49:06Z) - Diverse Title Generation for Stack Overflow Posts with Multiple Sampling
Enhanced Transformer [11.03785369838242]
与えられたコードスニペットから複数のポストタイトルを自動的に生成する新しい手法であるM$_3$NSCT5を提案する。
M$_3$NSCT5は、言語理解に優れたトレーニング済みトランスフォーマーモデルであるCodeT5のバックボーンを使用している。
M$_3$NSCT5の有効性を検証するため、8つのプログラミング言語をカバーする890,000の質問ポストを持つ大規模データセットを構築した。
論文 参考訳（メタデータ） (2022-08-24T13:10:48Z) - DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。
モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。
ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
論文 参考訳（メタデータ） (2022-01-14T00:16:57Z) - KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。
我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。
ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文 参考訳（メタデータ） (2020-10-05T19:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。