論文の概要: NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering

• arxiv url: http://arxiv.org/abs/2211.03462v1
• Date: Mon, 7 Nov 2022 11:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:53:49.471069
• Title: NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering
• Title（参考訳）: NAPG:ハイブリッド質問応答のための非自己回帰型プログラム生成
• Authors: Tengxun Zhang, Hongfei Xu, Josef van Genabith, Deyi Xiong, Hongying Zan
• Abstract要約: ハイブリッドテキストによる質問応答には異種情報からの推論が必要である。 現在の数値推論法は、LSTMを使ってプログラムシーケンスを自己回帰的にデコードする。 本稿では,プログラム生成の並列化を容易にする非自己回帰型プログラム生成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 56.493345448821294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid tabular-textual question answering (QA) requires reasoning from heterogeneous information, and the types of reasoning are mainly divided into numerical reasoning and span extraction. Despite being the main challenge of the task compared to extractive QA, current numerical reasoning method simply uses LSTM to autoregressively decode program sequences, and each decoding step produces either an operator or an operand. However, the step-by-step decoding suffers from exposure bias, and the accuracy of program generation drops sharply with progressive decoding. In this paper, we propose a non-autoregressive program generation framework, which facilitates program generation in parallel. Our framework, which independently generates complete program tuples containing both operators and operands, can significantly boost the speed of program generation while addressing the error accumulation issue. Our experiments on the MultiHiertt dataset shows that our model can bring about large improvements (+7.97 EM and +6.38 F1 points) over the strong baseline, establishing the new state-of-the-art performance, while being much faster (21x) in program generation. The performance drop of our method is also significantly smaller than the baseline with increasing numbers of numerical reasoning steps.
• Abstract（参考訳）: ハイブリッド表文質問応答(QA)は異種情報からの推論を必要とし、推論のタイプは主に数値的推論とスパン抽出に分けられる。 抽出QAと比較してタスクの主な課題であるにもかかわらず、現在の数値推論法はLSTMを使ってプログラムシーケンスを自動回帰的にデコードし、各デコードステップは演算子またはオペランドを生成する。 しかし、ステップバイステップのデコーディングは露光バイアスに悩まされ、プログラム生成の精度はプログレッシブデコーディングとともに急激に低下する。 本稿では,プログラムの並列生成を容易にする非自己回帰型プログラム生成フレームワークを提案する。 演算子とオペランドの両方を含むプログラムタプルを独立に生成する我々のフレームワークは,エラー蓄積問題に対処しながらプログラム生成速度を大幅に向上させることができる。 MultiHierttデータセットに対する我々の実験は、我々のモデルが強力なベースラインに対して大きな改善(+7.97 EMと+6.38 F1ポイント)をもたらし、新しい最先端のパフォーマンスを確立しつつ、プログラム生成においてはるかに高速(21倍)であることを示しています。 また,本手法の性能低下は,数値的推論ステップの増加とともに,ベースラインよりもかなり小さい。

関連論文リスト

• Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
  言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。 すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。 我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
  論文  参考訳（メタデータ） (2024-05-25T19:40:50Z)
• Towards Neural Synthesis for SMT-Assisted Proof-Oriented Programming [8.34623776815378]
  我々は600K行のオープンソースF*プログラムと証明のデータセットをキュレートする。 このデータセットには、Windows、Linux、Python、Firefoxなど、プロダクションシステムで使用されるソフトウェアが含まれている。 我々は,AIを用いてプログラムとその証明をF*で合成し,有望な結果を得る。
  論文  参考訳（メタデータ） (2024-05-03T00:14:33Z)
• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning [53.2491163874712]
  我々は数値推論の問題を解くために方程式をIMRとして利用する。 本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。 本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
  論文  参考訳（メタデータ） (2023-08-21T09:35:33Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Leveraging Causal Inference for Explainable Automatic Program Repair [24.146216081282798]
  本稿では,因果推論を用いたシーケンス・ツー・シーケンスモデルに基づくプログラム修復のための解釈可能なアプローチを提案する。 我々の手法はCPRと呼ばれ、因果プログラムの修復に短い。 4つのプログラミング言語の実験では、CPRが合理的な解釈のために因果グラフを生成できることが示されている。
  論文  参考訳（メタデータ） (2022-05-26T13:25:33Z)
• Lossless Acceleration for Seq2seq Generation with Aggressive Decoding [74.12096349944497]
  アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。 提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。 複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
  論文  参考訳（メタデータ） (2022-05-20T17:59:00Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• AutoPhase: Juggling HLS Phase Orderings in Random Forests with Deep Reinforcement Learning [17.584552398664737]
  AutoPhaseは、プログラムを受け取り、深い強化学習を使用して、実行時間を最小限にするコンパイルパスのシーケンスを見つけるフレームワークである。 本稿では,-O3コンパイラフラグを使用する場合と比較して,AutoPhaseは回路性能を28%向上することを示す。 既存の最先端のソリューションとは異なり、我々の深層強化学習ソリューションは、実際のベンチマークを一般化する有望な結果を示している。
  論文  参考訳（メタデータ） (2020-03-02T05:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。