論文の概要: Assemble Foundation Models for Automatic Code Summarization
- arxiv url: http://arxiv.org/abs/2201.05222v1
- Date: Thu, 13 Jan 2022 21:38:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-17 15:34:44.717332
- Title: Assemble Foundation Models for Automatic Code Summarization
- Title（参考訳）: 自動コード要約のためのアセンブリ基礎モデル
- Authors: Jian Gu, Pasquale Salza, Harald C. Gall
- Abstract要約: ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。
CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。
本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
- 参考スコア（独自算出の注目度）: 9.53949558569201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic code summarization is beneficial to software development and
maintenance since it reduces the burden of manual tasks. Currently, artificial
intelligence is undergoing a paradigm shift. The foundation models pretrained
on massive data and finetuned to downstream tasks surpass specially customized
models. This trend inspired us to consider reusing foundation models instead of
learning from scratch. Based on this, we propose a flexible and robust approach
for automatic code summarization based on neural networks. We assemble
available foundation models, such as CodeBERT and GPT-2, into a single model
named AdaMo. Moreover, we utilize Gaussian noise as the simulation of
contextual information to optimize the latent representation. Furthermore, we
introduce two adaptive schemes from the perspective of knowledge transfer,
namely continuous pretraining and intermediate finetuning, and design
intermediate stage tasks for general sequence-to-sequence learning. Finally, we
evaluate AdaMo against a benchmark dataset for code summarization, by comparing
it with state-of-the-art models.
- Abstract（参考訳）: 自動コード要約は、手動タスクの負担を軽減するので、ソフトウェア開発とメンテナンスに有益である。
現在、人工知能はパラダイムシフトを受けている。
基礎モデルは大量のデータに基づいて事前訓練され、ダウンストリームタスクに微調整され、特別にカスタマイズされたモデルを超えた。
この傾向は、スクラッチから学ぶのではなく、基礎モデルの再利用を検討するきっかけになりました。
そこで本研究では,ニューラルネットワークに基づく自動コード要約のための柔軟でロバストな手法を提案する。
CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。
さらに, ガウス雑音を文脈情報のシミュレーションとして活用し, 潜在表現の最適化を行う。
さらに、知識伝達の観点から、連続事前学習と中間微調整という2つの適応型スキームを導入し、一般的なシーケンス対シーケンス学習のための中間段階タスクを設計する。
最後に、AdaMoをコード要約のためのベンチマークデータセットと比較し、最先端モデルと比較する。
関連論文リスト
- Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Foundational GPT Model for MEG [3.524869467682149]
本研究では,脳信号の予測を用いて学習可能な2種類のディープラーニング基礎モデルを提案する。
まず、改良されたWavenetを検討し、次に、改良されたTransformer-based (GPT2)モデルを検討する。
我々は,これらのディープラーニングモデルの性能を,MEGデータに基づく標準的な線形自己回帰(AR)モデルと比較する。
論文 参考訳（メタデータ） (2024-04-14T13:48:24Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - Pre-Trained Model Recommendation for Downstream Fine-tuning [22.343011779348682]
モデル選択は、市販の事前訓練されたモデルをランク付けし、新しいターゲットタスクに最も適したモデルを選択することを目的としている。
既存のモデル選択テクニックはスコープ内で制約されることが多く、モデルとタスク間の微妙な関係を見落としてしまう傾向があります。
我々は,多種多様な大規模モデルリポジトリを探索する実用的フレームワーク textbfFennec を提案する。
論文 参考訳（メタデータ） (2024-03-11T02:24:32Z) - Bridging Pre-trained Models and Downstream Tasks for Source Code
Understanding [13.65914588243695]
本稿では,事前学習されたモデルとコード関連タスクをブリッジする手法を提案する。
我々は、下流データの多様性を豊かにする意味保存変換を利用する。
本稿では,既存の事前学習モデルを微調整するために,変換されたデータを手軽に整理するためのカリキュラム学習を紹介する。
論文 参考訳（メタデータ） (2021-12-04T07:21:28Z) - Demystifying Code Summarization Models [5.608277537412537]
我々は、極端要約、code2vec、code2seq、Sequence GNNの4つの顕著なコード要約モデルを評価する。
結果は、すべてのモデルが意味的な意味をほとんど含まない構文的および語彙的特性に基づいて予測することを示している。
本稿では,トレーニングデータのレンズを用いて,コード要約モデルの予測を説明する新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T03:17:46Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via
Calibrated Dirichlet Prior RNN [98.4713940310056]
現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。
最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。
疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
論文 参考訳（メタデータ） (2020-10-16T02:12:30Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳（メタデータ） (2020-05-06T01:51:30Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳（メタデータ） (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。