論文の概要: Prefix Parsing is Just Parsing

• arxiv url: http://arxiv.org/abs/2604.21191v1
• Date: Thu, 23 Apr 2026 01:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.229444
• Title: Prefix Parsing is Just Parsing
• Title（参考訳）: プリフィックスパーシングは単にパーシングである
• Authors: Clemente Pasti, Andreas Opedal, Timothy J. O'Donnell, Ryan Cotterell, Tim Vieira,
• Abstract要約: プレフィックスパーシングは、入力プレフィックスを与えられた文法によって生成された完全な文字列に拡張できるかどうかを問う。 そこで我々は,プレフィックス文法変換を導入し,プレフィックス解析を通常の構文解析に効率よく還元する。 また,次点重みベクトルを計算するためのアルゴリズム微分に基づく戦略も提案する。
• 参考スコア（独自算出の注目度）: 53.010152712125766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prefix parsing asks whether an input prefix can be extended to a complete string generated by a given grammar. In the weighted setting, it also provides prefix probabilities, which are central to context-free language modeling, psycholinguistic analysis, and syntactically constrained generation from large language models. We introduce the prefix grammar transformation, an efficient reduction of prefix parsing to ordinary parsing. Given a grammar, our method constructs another grammar that generates exactly the prefixes of its original strings. Prefix parsing is then solved by applying any ordinary parsing algorithm on the transformed grammar without modification. The reduction is both elegant and practical: the transformed grammar is only a small factor larger than the input, and any optimized implementation can be used directly, eliminating the need for bespoke prefix-parsing algorithms. We also present a strategy-based on algorithmic differentiation-for computing the next-token weight vector, i.e., the prefix weights of all one-token extensions, enabling efficient prediction of the next token. Together, these contributions yield a simple, general, and efficient framework for prefix parsing.
• Abstract（参考訳）: プレフィックスパーシングは、入力プレフィックスを与えられた文法によって生成された完全な文字列に拡張できるかどうかを問う。 重み付け設定では、文脈自由言語モデリング、心理言語学的分析、大規模言語モデルからの構文的制約付き生成の中心となるプレフィックス確率も提供する。 そこで我々は,プレフィックス文法変換を導入し,プレフィックス解析を通常の構文解析に効率よく還元する。 文法が与えられた場合、本手法は元の文字列の接頭辞を正確に生成する別の文法を構築する。 プリフィックスパーシングは、変更せずに変換文法に通常のパーシングアルゴリズムを適用することで解決される。 この縮小はエレガントかつ実用的であり、変換文法は入力よりも小さな要素に過ぎず、最適化された実装は直接使用することができる。 また,次のトークンを効率的に予測できるように,アルゴリズムの微分に基づく次トーケン重みベクトル,すなわちすべてのワントーケン拡張のプレフィックスウェイトを演算する戦略を提案する。 これらの貢献により、プレフィックス解析のためのシンプルで汎用的で効率的なフレームワークが得られる。

関連論文リスト

• A Fundamental Algorithm for Dependency Parsing (With Corrections) [0.0]
  本稿では,自然言語文を係り受け木に解析するための基本アルゴリズムを提案する。 フレーズ構造解析とは異なり、このアルゴリズムは一度に1つの単語を処理し、各単語をアタッチできる限り早くアタッチする。
  論文  参考訳（メタデータ） (2025-10-22T19:48:38Z)
• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• Semantic Parsing with Candidate Expressions for Knowledge Base Question Answering [4.795837146925278]
  意味論は自然言語を論理形式に変換し、知識ベース(KB)で評価して記述を生成する。 シーケンシャル・ツー・シークエンス(seq2seq)事前訓練言語モデル(PLM)を用いた最近のセマンティックスの開発が進んでいる。 本稿では,Seq2seq PLMを用いた大容量KB上でのセマンティック解析の候補式を付加した文法を提案する。
  論文  参考訳（メタデータ） (2024-10-01T05:46:22Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• On Parsing as Tagging [66.31276017088477]
  そこで我々は,現在最先端の選挙区タグであるテトラタグを減らして,シフト-リデュース解析を行う方法を示す。 我々は、線形化器、学習者、復号器の異なる選択でタグ付けパイプラインの分類を実証的に評価する。
  論文  参考訳（メタデータ） (2022-11-14T13:37:07Z)
• Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning [53.72897232951918]
  インデューサチューニングはプレフィックスチューニングとファインチューニングのパフォーマンスギャップを埋めることができることを示す。 そこで本研究では,アクセプションチューニングにおける残形を活用しつつ,プレフィックスチューニングとして正確なメカニズムを共有する,新しいプレフィックスチューニング-textitinducer-tuningを提案する。
  論文  参考訳（メタデータ） (2022-10-26T04:39:42Z)
• Improving Tokenisation by Alternative Treatment of Spaces [7.596737214110957]
  空間は常に個々のトークンとして扱われる別のトークン化アプローチを実験する。 修正アルゴリズムにより、下流のNLPタスクのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2022-04-08T13:22:30Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)
• A Unifying Theory of Transition-based and Sequence Labeling Parsing [14.653008985229617]
  文を左から右へ読み取る遷移に基づく構文解析アルゴリズムを,構文木をエンコードするシーケンスラベリングアルゴリズムにマップする。 これにより、トランジションベースの構文解析とシーケンスラベル解析の理論的関係が確立される。 4つのアルゴリズムのシーケンスラベリングバージョンを実装し、学習可能であり、既存のエンコーディングに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-01T18:25:15Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。