論文の概要: Approximating CKY with Transformers

• arxiv url: http://arxiv.org/abs/2305.02386v2
• Date: Sun, 5 Nov 2023 00:30:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 22:52:03.005781
• Title: Approximating CKY with Transformers
• Title（参考訳）: 変圧器によるCKYの近似
• Authors: Ghazal Khalighinejad, Ollie Liu, Sam Wiseman
• Abstract要約: 本稿では, CKYアルゴリズムを近似するトランスフォーマーモデルの有効性について検討し, 文のパースを直接予測する手法を提案する。 標準選挙区解析ベンチマークでは、この手法はCKYを高速に使用しながら、CKYを使用する競合製品よりも、競争力や性能が向上することがわかった。 本稿では,チャートに対する分割関数の亜次関数であるCKYアルゴリズムと類似して,解析文の予測におけるグラフ表現に対する勾配を用いた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 13.186180139992869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the ability of transformer models to approximate the CKY algorithm, using them to directly predict a sentence's parse and thus avoid the CKY algorithm's cubic dependence on sentence length. We find that on standard constituency parsing benchmarks this approach achieves competitive or better performance than comparable parsers that make use of CKY, while being faster. We also evaluate the viability of this approach for parsing under \textit{random} PCFGs. Here we find that performance declines as the grammar becomes more ambiguous, suggesting that the transformer is not fully capturing the CKY computation. However, we also find that incorporating additional inductive bias is helpful, and we propose a novel approach that makes use of gradients with respect to chart representations in predicting the parse, in analogy with the CKY algorithm being a subgradient of a partition function variant with respect to the chart.
• Abstract（参考訳）: 本研究では, ckyアルゴリズムを近似するトランスフォーマーモデルの能力について検討し, 文のパースを直接予測する手法を用いて, ckyアルゴリズムの文長に対する立方依存を回避した。 標準選挙区解析ベンチマークでは, CKYを高速に使用した同等のパーサよりも, 競争力や性能が向上することがわかった。 また,この解析手法の有効性を<textit{random} pcfgsで評価した。 ここで、文法が曖昧になるにつれて性能が低下し、トランスフォーマーがcky計算を完全に捉えていないことを示唆する。 しかし、さらに帰納的バイアスを組み込むことは有用であり、また、チャートに対する分割関数の亜次関数であるCKYアルゴリズムと類似して、解析文の予測においてグラフ表現に関する勾配を利用する新しいアプローチを提案する。

関連論文リスト

• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Policy Gradient Approach to Compilation of Variational Quantum Circuits [0.0]
  本稿では,量子回路の近似コンパイル法を提案する。 ポリシーの選択により、確率分布の観点から最適化問題を言い換えることができる。 このアプローチは勾配のない手法よりも競争力があることを数値的に示す。
  論文  参考訳（メタデータ） (2021-11-19T14:03:02Z)
• Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation [62.943925893616196]
  接続型時間分類(CTC)を用いた非回帰型音声-テキスト翻訳モデルの構築の可能性について検討する。 CTCの翻訳における成功は単調な仮定のため直感に反するため,再順序化能力の解析を行う。 解析の結果、トランスフォーマーエンコーダは単語の順序を変えることができることがわかった。
  論文  参考訳（メタデータ） (2021-05-11T07:48:45Z)
• Using Kalman Filter The Right Way: Noise Estimation Is Not Optimal [46.556605821252276]
  kfの仮定を少しでも破っても、効果のあるノイズを著しく修正できることを示す。 KFの対称および正定値(SPD)パラメータに勾配に基づく最適化を効率的に適用する方法を提案する。
  論文  参考訳（メタデータ） (2021-04-06T08:59:15Z)
• Computing Differential Privacy Guarantees for Heterogeneous Compositions Using FFT [5.837881923712393]
  プレ計算とメモリ使用量の増加を犠牲にして,Plancherel定理を用いて厳密なプライバシ保証を評価する方法を示す。 また、プリコンピューティングとメモリ使用量の増加のコストでPlancherel定理を使用して厳しいプライバシー保証の評価をスピードアップする方法も示します。
  論文  参考訳（メタデータ） (2021-02-24T17:05:38Z)
• Correlated Bandits for Dynamic Pricing via the ARC algorithm [2.7564955518050693]
  漸近ランダム化制御(Asymptotic Randomized Control)は、ベイズバンドの幅広いクラスに対する最適な戦略に厳密な近似を与える。 これにより、意思決定者は報酬に加えて信号を観察し、異なる選択の結果の相関を組み込むことができ、見積もりに非自明なダイナミクスを持つことができる。
  論文  参考訳（メタデータ） (2021-02-08T14:54:26Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
  離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。 この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。 古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-01T18:43:32Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。