論文の概要: Incorprating Prompt tuning for Commit classification with prior
Knowledge
- arxiv url: http://arxiv.org/abs/2308.10576v2
- Date: Thu, 26 Oct 2023 08:23:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 01:06:21.066498
- Title: Incorprating Prompt tuning for Commit classification with prior
Knowledge
- Title（参考訳）: 事前知識を用いたコミット分類のためのプロンプトチューニングの導入
- Authors: Jiajun Tong, Xiaobin Rui
- Abstract要約: コミット分類(CC)はソフトウェアのメンテナンスにおいて重要なタスクである。
本稿では,事前知識を用いたコミット分類のためのプロンプトチューニングを組み込んだ生成フレームワークを提案する。
我々のフレームワークはCCの問題をシンプルに解決できるが、ほとんどショットやゼロショットのシナリオでは効果的に解決できる。
- 参考スコア（独自算出の注目度）: 0.76146285961466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Commit Classification(CC) is an important task in software maintenance since
it helps software developers classify code changes into different types
according to their nature and purpose. This allows them to better understand
how their development efforts are progressing, identify areas where they need
improvement. However, existing methods are all discriminative models, usually
with complex architectures that require additional output layers to produce
class label probabilities. Moreover, they require a large amount of labeled
data for fine-tuning, and it is difficult to learn effective classification
boundaries in the case of limited labeled data. To solve above problems, we
propose a generative framework that Incorporating prompt-tuning for commit
classification with prior knowledge (IPCK)
https://github.com/AppleMax1992/IPCK, which simplifies the model structure and
learns features across different tasks. It can still reach the SOTA performance
with only limited samples. Firstly, we proposed a generative framework based on
T5. This encoder-decoder construction method unifies different CC task into a
text2text problem, which simplifies the structure of the model by not requiring
an extra output layer. Second, instead of fine-tuning, we design an
prompt-tuning solution which can be adopted in few-shot scenarios with only
limit samples. Furthermore, we incorporate prior knowledge via an external
knowledge graph to map the probabilities of words into the final labels in the
speech machine step to improve performance in few-shot scenarios. Extensive
experiments on two open available datasets show that our framework can solve
the CC problem simply but effectively in few-shot and zeroshot scenarios, while
improving the adaptability of the model without requiring a large amount of
training samples for fine-tuning.
- Abstract（参考訳）: コミット分類(CC)は、ソフトウェア開発者がコードの変更をその性質と目的に応じて異なるタイプに分類するのを助けるため、ソフトウェアのメンテナンスにおいて重要なタスクである。
これにより、開発作業の進捗をよりよく理解し、改善が必要な領域を特定します。
しかしながら、既存のメソッドはすべて識別モデルであり、通常はクラスラベルの確率を生成するために出力層を追加する複雑なアーキテクチャを持つ。
さらに、細調整には大量のラベル付きデータが必要であり、ラベル付きデータに制限がある場合、効果的な分類境界を学習することは困難である。
本稿では,先行知識(ipck)https://github.com/applemax1992/ipckを用いたコミット分類のためのプロンプトチューニングを組み込んだ生成フレームワークを提案する。
限られたサンプルだけでSOTAのパフォーマンスに到達できます。
まず,T5に基づく生成フレームワークを提案する。
異なるccタスクをtext2text問題に統一し、余分な出力層を必要とせず、モデルの構造を単純化するエンコーダ−デコーダ構築方法。
第二に、微調整の代わりに、限られたサンプルしか持たない数ショットシナリオで適用可能なプロンプトチューニングソリューションを設計する。
さらに,外部知識グラフによる事前知識を組み込んで,音声機械ステップの最終的なラベルに単語の確率をマッピングし,少ないシナリオでの性能を向上させる。
2つのオープンデータセットに対する大規模な実験は、我々のフレームワークがCCの問題をシンプルだが効果的に、数ショットとゼロショットのシナリオで解決できることを示している。
関連論文リスト
- Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。
近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。
本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
論文 参考訳（メタデータ） (2024-10-14T12:47:11Z) - Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。
提案手法は適応生成モデルを用いて画像のラベルを直接生成する。
Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
論文 参考訳（メタデータ） (2024-03-27T09:21:07Z) - Transfer Learning for Structured Pruning under Limited Task Data [15.946734013984184]
本稿では,構造化プルーニングとトランスファーラーニングを組み合わせることで,タスク固有のデータの必要性を減らすフレームワークを提案する。
我々は,強いベースライン上での一般化を改良し,刈り取られたモデルが得られることを実証した。
論文 参考訳（メタデータ） (2023-11-10T20:23:35Z) - TransformCode: A Contrastive Learning Framework for Code Embedding via Subtree Transformation [9.477734501499274]
コード埋め込みを対照的な学習方法で学習する新しいフレームワークであるTransformCodeを提案する。
我々のフレームワークはエンコーダに依存しない言語に依存しないので、どんなエンコーダモデルでも活用でき、どんなプログラミング言語でも扱える。
論文 参考訳（メタデータ） (2023-11-10T09:05:23Z) - Boosting Commit Classification with Contrastive Learning [0.8655526882770742]
コミット分類(CC)は、ソフトウェアのメンテナンスにおいて重要なタスクである。
対照的な学習に基づくコミット分類フレームワークを提案する。
われわれのフレームワークはCCの問題をシンプルに解決できるが、スプリットショットのシナリオでは効果的に解決できる。
論文 参考訳（メタデータ） (2023-08-16T10:02:36Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳（メタデータ） (2022-12-17T02:20:14Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳（メタデータ） (2022-07-22T17:52:30Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Few-Shot Learning with Siamese Networks and Label Tuning [5.006086647446482]
適切な事前トレーニングを行うことで、テキストやラベルを埋め込むSiamese Networksが、競争力のある代替手段となることを示す。
ラベルの埋め込みだけを変えることで、数ショットのセットアップでモデルを適応できる、シンプルで計算効率の良い手法であるラベルチューニングを導入する。
論文 参考訳（メタデータ） (2022-03-28T11:16:46Z) - Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot
Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。
本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。
提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文 参考訳（メタデータ） (2021-02-08T03:27:05Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳（メタデータ） (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。