論文の概要: Constrained Decoding for Fill-in-the-Middle Code Language Models via Efficient Left and Right Quotienting of Context-Sensitive Grammars

• arxiv url: http://arxiv.org/abs/2402.17988v2
• Date: Wed, 4 Sep 2024 18:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 03:42:07.531017
• Title: Constrained Decoding for Fill-in-the-Middle Code Language Models via Efficient Left and Right Quotienting of Context-Sensitive Grammars
• Title（参考訳）: 文脈感性文法の左と右の効率性による中間言語モデルの制約付き復号法
• Authors: Daniel Melcer, Nathan Fulton, Sanjay Krishna Gouda, Haifeng Qian,
• Abstract要約: 本稿では,構文的に正しくないコードの早期拒絶を可能にするインクリメンタルな合成に寄与する。 文脈自由文法の左右商を許容するために、Earey解析アルゴリズムを拡張した。
• 参考スコア（独自算出の注目度）: 11.279507894576213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models are powerful tools for program synthesis and advanced auto-completion, but come with no guarantee that their output code is syntactically correct. This paper contributes an incremental parser that allows early rejection of syntactically incorrect code, as well as efficient detection of complete programs for fill-in-the-middle (FIM) tasks. We extend the Earley parsing algorithm to allow for left and right quotients of context-free grammars, and develop methods to handle quotienting of several context-sensitive features present in the grammars of many common programming languages. The result of these contributions is an efficient, general, and well-grounded method for left and right quotient parsing. To validate our theoretical contributions -- and the effectiveness of certain design decisions -- we evaluate our method on the particularly difficult case of FIM completion for Python 3, with syntax-correctness constraints. Our results demonstrate that constrained generation can significantly reduce the incidence of syntax errors in recommended code.
• Abstract（参考訳）: 大規模言語モデルは、プログラム合成と高度な自動補完のための強力なツールであるが、その出力コードが構文的に正しいという保証はない。 本稿では,構文的に不正確なコードに対する早期の拒絶を可能にするインクリメンタルパーサと,FIMタスクの完全プログラムの効率的な検出に寄与する。 我々は、Earey解析アルゴリズムを拡張し、文脈自由文法の左右の商を扱えるようにし、多くの共通プログラミング言語の文法に存在するいくつかの文脈依存的特徴の商化を扱う方法を開発した。 これらのコントリビューションの結果は、左と右の商解析の効率的で、一般的で、かつ、しっかりとした方法である。 理論的なコントリビューション – と設計決定の有効性 – を検証するため,Python 3のFIM補完が特に難しい場合に対して,構文の正確性に制約のあるメソッドを評価した。 その結果、制約付き生成は推奨コードにおける構文エラーの発生を著しく低減できることが示された。

関連論文リスト

• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• A Comprehensive Solution to Connect Speech Encoder and Large Language Model for ASR [14.380210167130032]
  近年,音声認識のための言語エンコーダを大規模言語モデル (LLM) に接続する手法が提案されている。 しかし、微調整オプションの制限、音声テキストアライメントを強制するメカニズムの欠如、挿入エラーの増大など、いくつかの制限が続く。 本稿では,これらの課題に対処するための包括的解決策を提案する。
  論文  参考訳（メタデータ） (2024-06-25T04:35:50Z)
• SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
  コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。 類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。 文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
  論文  参考訳（メタデータ） (2024-06-15T21:57:03Z)
• Grammar-Aligned Decoding [30.972850034752884]
  LLM(Large Language Models)は、プログラムコード、数学的公式、整形されたマークアップなどの高度に構造化された出力を確実に生成するのに苦労する。 制約付き復号法は、LLMが出力できるトークンを各ステップで厳格に制限し、出力が与えられた制約と一致することを保証することによってこの問題を軽減する。 本稿では,GCD技術がLLMの分布を歪め,文法的だがLLMに比例しない確率で現れる出力を導出することを示す。
  論文  参考訳（メタデータ） (2024-05-31T17:39:15Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Tokenization with Factorized Subword Encoding [2.538209532048867]
  本稿では,VQ-VAEモデルを用いて,サブワードを離散三重項に分解する新しいトークン化手法を提案する。 その結果, この手法は, 一般的に使用されるバイトペア符号化(BPE)トークン化アルゴリズムよりも, 形態的タスクに適しており, 頑健であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-13T13:27:34Z)
• Weak Disambiguation for Partial Structured Output Learning [8.239028141030621]
  部分構造的出力学習(WD-PSL)のための新しい弱い曖昧さを提案する。 各候補ラベルには、それが真のラベルである可能性を示す信頼値が割り当てられる。 自然言語処理におけるいくつかのシーケンスラベリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-09-20T02:12:31Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• CodeBLEU: a Method for Automatic Evaluation of Code Synthesis [57.87741831987889]
  コード合成の分野では、一般的に使用される評価基準はBLEUまたは完全精度である。 我々はCodeBLEUと呼ばれる新しい自動評価指標を導入する。 n-gramマッチングにおけるBLEUの強度を吸収し、抽象構文木(AST)やデータフローによるコードセマンティクスを通じてコード構文を注入する。
  論文  参考訳（メタデータ） (2020-09-22T03:10:49Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。