論文の概要: Horizon-Length Prediction: Advancing Fill-in-the-Middle Capabilities for Code Generation with Lookahead Planning
- arxiv url: http://arxiv.org/abs/2410.03103v1
- Date: Fri, 4 Oct 2024 02:53:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 03:46:34.606309
- Title: Horizon-Length Prediction: Advancing Fill-in-the-Middle Capabilities for Code Generation with Lookahead Planning
- Title（参考訳）: 水平長予測:ルックアヘッド計画によるコード生成の中間機能向上
- Authors: Yifeng Ding, Hantian Ding, Shiqi Wang, Qing Sun, Varun Kumar, Zijian Wang,
- Abstract要約: 本研究では,各ステップに残るミドルトークンの数をモデルに予測する学習目標として,Horizon-Length Prediction (HLP)を提案する。
HLPはファイルレベルとリポジトリレベルの異なるベンチマークでFIMのパフォーマンスを最大24%向上させ、非現実的なポストプロセッシング手法を使わずに改善する。
- 参考スコア（独自算出の注目度）: 17.01133761213624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fill-in-the-Middle (FIM) has become integral to code language models, enabling generation of missing code given both left and right contexts. However, the current FIM training paradigm, which reorders original training sequences and then performs regular next-token prediction (NTP), often leads to models struggling to generate content that aligns smoothly with the surrounding context. Crucially, while existing works rely on rule-based post-processing to circumvent this weakness, such methods are not practically usable in open-domain code completion tasks as they depend on restrictive, dataset-specific assumptions (e.g., generating the same number of lines as in the ground truth). Moreover, model performance on FIM tasks deteriorates significantly without these unrealistic assumptions. We hypothesize that NTP alone is insufficient for models to learn effective planning conditioned on the distant right context, a critical factor for successful code infilling. To overcome this, we propose Horizon-Length Prediction (HLP), a novel training objective that teaches models to predict the number of remaining middle tokens (i.e., horizon length) at each step. HLP advances FIM with lookahead planning, enabling models to inherently learn infilling boundaries for arbitrary left and right contexts without relying on dataset-specific post-processing. Our evaluation across different models and sizes shows that HLP significantly improves FIM performance by up to 24% relatively on diverse benchmarks, across file-level and repository-level, and without resorting to unrealistic post-processing methods. Furthermore, the enhanced planning capability gained through HLP boosts model performance on code reasoning. Importantly, HLP only incurs negligible training overhead and no additional inference cost, ensuring its practicality for real-world scenarios.
- Abstract（参考訳）: Fill-in-the-Middle(FIM)は、コード言語モデルに不可欠なものとなり、左と右の両方のコンテキストに与えられた不足コードの生成を可能にした。
しかし、現在のFIMトレーニングパラダイムは、元のトレーニングシーケンスをリオーダーし、次に通常の次の学習予測(NTP)を実行することで、しばしば、周囲のコンテキストとスムーズに整合したコンテンツを生成するのに苦労するモデルに繋がる。
重要なことは、既存の作業はこの弱点を回避するためにルールベースの後処理に依存しているが、そのような方法は、制約のあるデータセット固有の仮定に依存するため、オープンドメインのコード補完タスクで実際に使用することはできない(例えば、基底真実と同じ数の行を生成する)。
さらに、これらの非現実的な仮定なしに、FIMタスクのモデル性能は著しく低下する。
NTPだけでは、コード入力を成功させる重要な要因である、遠くの状況で効率的な計画条件を学習するモデルには不十分である、という仮説を立てる。
これを解決するために,各ステップで残るミドルトークンの数(すなわち水平長)をモデルに予測させる新たなトレーニング目標であるHorizon-Length Prediction (HLP)を提案する。
HLPはルックアヘッド計画によってFIMを前進させ、データセット固有の後処理に頼ることなく、任意の左右コンテキストの入力境界を本質的に学習することを可能にする。
異なるモデルとサイズで評価したところ、HLPはファイルレベルやリポジトリレベル、非現実的なポストプロセッシング手法を使わずに、様々なベンチマークでFIM性能を最大24%向上させることがわかった。
さらに、HLPによる計画能力の向上により、コード推論におけるモデルパフォーマンスが向上する。
重要なのは、HLPは無視可能なトレーニングオーバーヘッドと追加の推論コストのみを発生させ、現実のシナリオにおける実用性を保証することだ。
関連論文リスト
- LPLgrad: Optimizing Active Learning Through Gradient Norm Sample Selection and Auxiliary Model Training [2.762397703396293]
LPLgrad(Loss Prediction Loss with Gradient Norm)は、モデルの不確実性を効果的に定量化し、画像分類タスクの精度を向上させる。
LPLgradは2つの異なるフェーズで動作する: (i) Em Training Phaseは、メインモデルと補助モデルとを併用して入力特徴の損失を予測することを目的としている。
この二重モデルアプローチは、複雑な入力特徴を抽出し、データから本質的なパターンを効果的に学習する能力を高める。
論文 参考訳（メタデータ） (2024-11-20T18:12:59Z) - Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation [8.046705062670096]
損失のない投機的復号化は、ターゲットとする大言語モデル推論を加速する。
FSPAD (Feature Sampling and partial Alignment Distillation for Lossless Speculative Decoding) を提案する。
我々の実験は、ヴィクナ級数とLLaMA3-インストラクト級数で最大かつ最小のモデルにおいて、欲求と非欲求デコーディングの両方を含む。
論文 参考訳（メタデータ） (2024-08-28T06:28:01Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
低データ体制における教師なし事前学習のための新しい手法を提案する。
最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。
提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
論文 参考訳（メタデータ） (2024-05-22T06:48:43Z) - Rethinking the Starting Point: Collaborative Pre-Training for Federated Downstream Tasks [21.842345900168525]
CoPreFLはモデルに依存しないメタラーニング(MAML)プロシージャで、異種および目に見えないFLシナリオを忠実に模倣するようにグローバルモデルを調整する。
当社のMAML手順では,パフォーマンスの分散をメタオブジェクト関数に組み込んで,クライアント間でパフォーマンスのバランスをとる。
我々は,任意の下流FLタスク間の平均精度と分散の両面で,CoPreFLが大幅に改善されることを実証した。
論文 参考訳（メタデータ） (2024-02-03T17:58:43Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。
モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。
本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
論文 参考訳（メタデータ） (2023-03-02T21:48:22Z) - Aligned Multi-Task Gaussian Process [12.903751268469696]
マルチタスク学習では、タスク間の相関を正確に識別する必要がある。
従来のマルチタスクモデルはこれを考慮せず、その後の相関推定における誤差は予測性能の低下をもたらす。
本稿では,予測性能を向上させる統合生成モデルにおいて,時間的不整合を自動的に考慮する手法を提案する。
論文 参考訳（メタデータ） (2021-10-29T13:18:13Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。