論文の概要: Transducer Tuning: Efficient Model Adaptation for Software Tasks Using Code Property Graphs

• arxiv url: http://arxiv.org/abs/2412.13467v1
• Date: Wed, 18 Dec 2024 03:25:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:50:07.898459
• Title: Transducer Tuning: Efficient Model Adaptation for Software Tasks Using Code Property Graphs
• Title（参考訳）: Transducer Tuning: コードプロパティグラフを用いたソフトウェアタスクの効率的なモデル適応
• Authors: Imam Nur Bani Yusuf, Lingxiao Jiang,
• Abstract要約: アプローチは、コードプロパティグラフ(CPG)を使用して下流のコードタスクに大規模なモデルを適用するテクニックである。 我々のアプローチではTransducerと呼ばれるモジュラーコンポーネントを導入し、CPGからの構造化情報と依存性情報によってコード埋め込みを強化します。 その結果,最大99%のトレーニング可能なパラメータを削減し,最大99%のメモリ削減を実現した。
• 参考スコア（独自算出の注目度）: 8.26418657158164
• License:
• Abstract: Large language models have demonstrated promising performance across various software engineering tasks. While fine-tuning is a common practice to adapt these models for downstream tasks, it becomes challenging in resource-constrained environments due to increased memory requirements from growing trainable parameters in increasingly large language models. We introduce \approach, a technique to adapt large models for downstream code tasks using Code Property Graphs (CPGs). Our approach introduces a modular component called \transducer that enriches code embeddings with structural and dependency information from CPGs. The Transducer comprises two key components: Graph Vectorization Engine (GVE) and Attention-Based Fusion Layer (ABFL). GVE extracts CPGs from input source code and transforms them into graph feature vectors. ABFL then fuses those graphs feature vectors with initial code embeddings from a large language model. By optimizing these transducers for different downstream tasks, our approach enhances the models without the need to fine-tune them for specific tasks. We have evaluated \approach on three downstream tasks: code summarization, assert generation, and code translation. Our results demonstrate competitive performance compared to full parameter fine-tuning while reducing up to 99\% trainable parameters to save memory. \approach also remains competitive against other fine-tuning approaches (e.g., LoRA, Prompt-Tuning, Prefix-Tuning) while using only 1.5\%-80\% of their trainable parameters. Our findings show that integrating structural and dependency information through Transducer Tuning enables more efficient model adaptation, making it easier for users to adapt large models in resource-constrained settings.
• Abstract（参考訳）: 大規模言語モデルは、様々なソフトウェアエンジニアリングタスクで有望なパフォーマンスを示している。 微調整は、これらのモデルを下流タスクに適用する一般的なプラクティスであるが、大規模言語モデルにおけるトレーニング可能なパラメータの増加によるメモリ要求の増加により、リソース制約のある環境では困難になる。 我々は,コードプロパティグラフ(CPG)を用いて,下流のコードタスクに大規模なモデルを適応させる手法である‘approach’を紹介した。 このアプローチでは,コード埋め込みを CPG からの構造化情報と依存性情報で強化する,‘Transducer’ というモジュラーコンポーネントを導入している。 Transducerは、Graph Vectorization Engine(GVE)とAttention-Based Fusion Layer(ABFL)の2つの重要なコンポーネントで構成されている。 GVEは入力ソースコードからCPGを抽出し、それらをグラフ特徴ベクトルに変換する。 ABFLは、これらのグラフの特徴ベクトルを、大きな言語モデルからの初期コード埋め込みと融合させる。 これらのトランスデューサを異なる下流タスクに最適化することで、特定のタスクに微調整することなくモデルを強化することができる。 我々は、コード要約、アサート生成、コード翻訳の3つのダウンストリームタスクで \approach を評価した。 その結果, 最大99 % のトレーニング可能なパラメータを削減し, メモリを節約し, フルパラメータの微調整と比較して, 競合性能を実証した。 さらに \approach は,トレーニング可能なパラメータの 1.5 %-80 % しか使用せず,他の微調整アプローチ (LoRA, Prompt-Tuning, Prefix-Tuning など) との競争も継続している。 この結果から,Transducer Tuningによる構造情報と依存性情報の統合により,より効率的なモデル適応が可能となり,資源制約のある設定で大規模モデルを適応しやすくなった。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
  本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。 2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
  論文  参考訳（メタデータ） (2024-06-05T08:26:44Z)
• Sparse-Tuning: Adapting Vision Transformers with Efficient Fine-tuning and Inference [14.030836300221756]
  textbfSparse-Tuningは、画像やビデオの情報冗長性を考慮に入れた新しいPEFTメソッドである。 Sparse-Tuningは各層で処理されるトークンの量を最小限に抑え、計算とメモリのオーバーヘッドを2次的に削減する。 我々のSparse-TuningはGFLOPsを62%-70%に削減し,最先端性能を実現した。
  論文  参考訳（メタデータ） (2024-05-23T15:34:53Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• READ: Recurrent Adaptation of Large Transformers [7.982905666062059]
  モデルサイズとタスク数が増加するにつれて、微調整の大規模トランスフォーマーは実用的ではない。 textbfREcurrent textbfADaption (READ) を導入する。
  論文  参考訳（メタデータ） (2023-05-24T16:59:41Z)
• G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks [0.7118812771905295]
  特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。 本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。 大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2023-05-17T16:10:36Z)
• Consolidator: Mergeable Adapter with Grouped Connections for Visual Adaptation [53.835365470800916]
  視覚変換器の知識を効率よく効果的に伝達する方法を示す。 調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。 我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
  論文  参考訳（メタデータ） (2023-04-30T23:59:02Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。