Fugu-MT 論文翻訳(概要): FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion

論文の概要: FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion

arxiv url: http://arxiv.org/abs/2404.01554v1
Date: Tue, 2 Apr 2024 01:42:15 GMT
ステータス: 処理完了
システム内更新日: 2024-04-03 18:18:02.870590
Title: FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion
Title（参考訳）: FT2Ra: Retrieval-Augmented Code Completionへの微調整によるアプローチ
Authors: Qi Guo, Xiaohong Li, Xiaofei Xie, Shangqing Liu, Ze Tang, Ruitao Feng, Junjie Wang, Jidong Ge, Lei Bu,
Abstract要約: 我々は,真の微調整を模倣することを目的とした新しい検索手法FT2Raを開発した。 FT2RaはUniXcoderの最良のベースライン方式に比べて精度が4.29%向上している。
参考スコア（独自算出の注目度）: 24.964973946366335
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rise of code pre-trained models has significantly enhanced various coding tasks, such as code completion, and tools like GitHub Copilot. However, the substantial size of these models, especially large models, poses a significant challenge when it comes to fine-tuning them for specific downstream tasks. As an alternative approach, retrieval-based methods have emerged as a promising solution, augmenting model predictions without the need for fine-tuning. Despite their potential, a significant challenge is that the designs of these methods often rely on heuristics, leaving critical questions about what information should be stored or retrieved and how to interpolate such information for augmenting predictions. To tackle this challenge, we first perform a theoretical analysis of the fine-tuning process, highlighting the importance of delta logits as a catalyst for improving model predictions. Building on this insight, we develop a novel retrieval-based method, FT2Ra, which aims to mimic genuine fine-tuning. While FT2Ra adopts a retrieval-based mechanism, it uniquely adopts a paradigm with a learning rate and multi-epoch retrievals, which is similar to fine-tuning.In token-level completion, which represents a relatively easier task, FT2Ra achieves a 4.29% improvement in accuracy compared to the best baseline method on UniXcoder. In the more challenging line-level completion task, we observe a substantial more than twice increase in Exact Match (EM) performance, indicating the significant advantages of our theoretical analysis. Notably, even when operating without actual fine-tuning, FT2Ra exhibits competitive performance compared to the models with real fine-tuning.
Abstract（参考訳）: 事前トレーニングされたモデルの台頭は、コード補完やGitHub Copilotのようなツールなど、さまざまなコーディングタスクを大幅に強化した。しかし、これらのモデル、特に大きなモデルの大きさは、特定の下流タスクを微調整する上で大きな課題となる。代替手法として、検索ベースの手法が有望な解決策として登場し、微調整を必要とせずにモデル予測を増大させた。それらの可能性にもかかわらず、重要な課題は、これらの手法の設計がしばしばヒューリスティックに頼り、どの情報を保存または取得すべきか、どのようにその情報を補間して予測を強化するべきかという重要な疑問を残していることである。この課題に対処するために、我々はまず微調整過程の理論解析を行い、モデル予測を改善する触媒としてのデルタロジットの重要性を強調した。この知見に基づいて,真の微調整を模倣することを目的とした新しい検索手法FT2Raを開発した。 FT2Raは検索に基づく機構を採用しているが,比較的簡単なタスクを表すトークンレベルの補完では,UniXcoderの最良のベースライン手法に比べて4.29%の精度向上を実現している。より困難なラインレベルの完了タスクでは、エクササイズマッチ(EM)の性能が2倍以上に向上し、理論解析の顕著な利点が示される。特に、実際の微調整なしで動作している場合でも、FT2Raは実際の微調整のあるモデルと比較して競争性能を示す。

関連論文リスト

A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
論文参考訳（メタデータ） (2024-09-03T13:29:13Z)
Zero-Shot Embeddings Inform Learning and Forgetting with Vision-Language Encoders [6.7181844004432385]
IMM(Inter-Intra Modal Measure)は、微調整によるパフォーマンス変化の強力な予測器として機能する。 IIMMスコアの高いタスクの微調整はドメイン内のパフォーマンス向上をもたらすが、ドメイン外のパフォーマンス低下も引き起こす。ターゲットデータの1つのフォワードパスだけで、実践者は、この重要な洞察を利用して、モデルが微調整後の改善を期待できる程度を評価することができる。
論文参考訳（メタデータ） (2024-07-22T15:35:09Z)
TrackFormers: In Search of Transformer-Based Particle Tracking for the High-Luminosity LHC Era [2.9052912091435923]
高エネルギー物理実験は、新しいイテレーション毎に複数倍のデータの増加に直面している。このようなオーバーホールが必要なステップの1つは、粒子トラックの再構築、すなわち追跡のタスクである。機械学習支援ソリューションは、大幅な改善が期待されている。
論文参考訳（メタデータ） (2024-07-09T18:47:25Z)
Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models [12.656574142412484]
本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
論文参考訳（メタデータ） (2024-06-14T03:39:01Z)
Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning [0.0]
そこで本研究では,それを利用した微調整フレームワークを提案する。 PEFT(Efficient Fine-Tuning)技術。提案する微調整フレームワークは,最大で0.4%のパラメータをチューニングすることで,コードテキスト検索性能を向上させる可能性を実証した。
論文参考訳（メタデータ） (2024-05-07T08:50:25Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文参考訳（メタデータ） (2023-10-19T17:57:16Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文参考訳（メタデータ） (2021-10-30T03:29:47Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。