論文の概要: Priority Sampling of Large Language Models for Compilers

• arxiv url: http://arxiv.org/abs/2402.18734v1
• Date: Wed, 28 Feb 2024 22:27:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 16:41:46.564768
• Title: Priority Sampling of Large Language Models for Compilers
• Title（参考訳）: コンパイラのための大規模言語モデルの優先度サンプリング
• Authors: Dejan Grubisic, Chris Cummins, Volker Seeker, Hugh Leather
• Abstract要約: プライオリティサンプリングは、モデルの信頼性によって順序付けられたユニークなサンプルを生成する、単純で決定論的サンプリング技術である。 正規表現に基づいた生成をサポートし、制御可能で構造化された探索プロセスを提供する。 これは、オリジナルのモデルのトレーニングのためにラベルの生成に使用するオートチューニングを、わずか30のサンプルで上回っている。
• 参考スコア（独自算出の注目度）: 4.2266182821287135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models show great potential in generating and optimizing code. Widely used sampling methods such as Nucleus Sampling increase the diversity of generation but often produce repeated samples for low temperatures and incoherent samples for high temperatures. Furthermore, the temperature coefficient has to be tuned for each task, limiting its usability. We present Priority Sampling, a simple and deterministic sampling technique that produces unique samples ordered by the model's confidence. Each new sample expands the unexpanded token with the highest probability in the augmented search tree. Additionally, Priority Sampling supports generation based on regular expression that provides a controllable and structured exploration process. Priority Sampling outperforms Nucleus Sampling for any number of samples, boosting the performance of the original model from 2.87% to 5% improvement over -Oz. Moreover, it outperforms the autotuner used for the generation of labels for the training of the original model in just 30 samples.
• Abstract（参考訳）: 大規模言語モデルは、コードの生成と最適化に大きな可能性を示している。 Nucleus Smplingのような広く使われているサンプリング法は、生成の多様性を高めるが、低温の繰り返しサンプルと高温の非コヒーレントサンプルを生成することが多い。 さらに、各タスクの温度係数を調整し、ユーザビリティを制限しなければならない。 本稿では,モデルの信頼性によって順序付けられたユニークなサンプルを生成する,単純かつ決定論的サンプリング手法であるプライオリティサンプリングを提案する。 新しいサンプルは、拡張された検索ツリーで最も高い確率で未拡張トークンを拡張する。 さらに、優先順位サンプリングは、制御可能で構造化された探索プロセスを提供する正規表現に基づく生成をサポートする。 プライオリティサンプリングはあらゆるサンプルに対してNucleus Smplingより優れており、オリジナルのモデルの性能は-Ozよりも2.87%から5%向上した。 さらに、オリジナルのモデルのトレーニングに使用するラベルの生成に使用するオートチューナーを、わずか30サンプルで上回っている。

関連論文リスト

• Adaptive Inference-Time Compute: LLMs Can Predict if They Can Do Better, Even Mid-Generation [51.127054971591924]
  本稿では,生成サンプル数を適応的に削減する新たな自己評価手法を提案する。 平均1.2サンプルだけで16サンプルの使用による改善の74%が達成できることを実証した。
  論文  参考訳（メタデータ） (2024-10-03T17:47:29Z)
• Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [4.122612309805664]
  大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。 トップトークンの確率に応じてスケールすることでモデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション法である min-p サンプリングを提案する。 我々はGPQA、GSM8K、AlpacaEval Creative Writingなどのベンチマーク実験を行い、min-pサンプリングが生成したテキストの品質と多様性を特に高温で改善することを示した。
  論文  参考訳（メタデータ） (2024-07-01T08:37:25Z)
• Foundation Model Makes Clustering A Better Initialization For Cold-Start Active Learning [5.609241010973952]
  コールドスタート能動学習のためのサンプルを選択するために,基礎モデルとクラスタリング手法を統合することを提案する。 ファンデーションモデルは、自己管理パラダイムによってトレーニングされた大量のデータセットを指す。 総合的な比較のために、埋め込みを取得するための古典的なImageNet教師付きモデルを含む。
  論文  参考訳（メタデータ） (2024-02-04T16:27:37Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Generating High Fidelity Synthetic Data via Coreset selection and Entropic Regularization [15.866662428675054]
  本稿では,コアセット選択法とエントロピー正規化法を組み合わせて,最も高い忠実度サンプルを選択することを提案する。 半教師付き学習シナリオでは、ラベル付きデータセットを増大させ、選択したサンプルのサブセットを追加することにより、精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-01-31T22:59:41Z)
• Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
  そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。 まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。 各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
  論文  参考訳（メタデータ） (2022-03-21T10:20:21Z)
• Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
  本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。 実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
  論文  参考訳（メタデータ） (2021-07-01T10:34:55Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Incremental Sampling Without Replacement for Sequence Models [39.3035292844624]
  広範囲なランダム化プログラムから置き換えることなくサンプリングを行うエレガントな手順を提案する。 当社のアプローチは漸進的,すなわちサンプルを一度に1つずつ描画することで,柔軟性の向上を実現しています。
  論文  参考訳（メタデータ） (2020-02-21T00:12:01Z)
• Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior [53.69310441063162]
  本稿では,より自然な音響サンプルを生成できる離散潜在空間における逐次前処理を提案する。 本研究では,聴取試験,自動音声認識(ASR)性能の客観的指標,韻律特性の測定によるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T12:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。