論文の概要: NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering

• arxiv url: http://arxiv.org/abs/2211.03462v2
• Date: Fri, 13 Oct 2023 13:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 18:28:14.194468
• Title: NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering
• Title（参考訳）: NAPG:ハイブリッド質問応答のための非自己回帰型プログラム生成
• Authors: Tengxun Zhang, Hongfei Xu, Josef van Genabith, Deyi Xiong, Hongying Zan
• Abstract要約: 現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。 プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。 本稿では,非自己回帰型プログラム生成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 52.10214317661547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid tabular-textual question answering (QA) requires reasoning from heterogeneous information, and the types of reasoning are mainly divided into numerical reasoning and span extraction. Current numerical reasoning methods autoregressively decode program sequences, and each decoding step produces either an operator or an operand. However, the step-by-step decoding suffers from exposure bias, and the accuracy of program generation drops sharply as the decoding steps unfold due to error propagation. In this paper, we propose a non-autoregressive program generation framework, which independently generates complete program tuples containing both operators and operands, can address the error propagation issue while significantly boosting the speed of program generation. Experiments on the ConvFinQA and MultiHiertt datasets show that our non-autoregressive program generation method can bring about substantial improvements over the strong FinQANet (+5.06 Exe Acc and +4.80 Prog Acc points) and MT2Net (+7.97 EM and +6.38 F1 points) baselines, establishing the new state-of-the-art performance, while being much faster (21x) in program generation. Finally, with increasing numbers of numerical reasoning steps the performance drop of our method is significantly smaller than that of the baselines. Our code will be publicly available soon.
• Abstract（参考訳）: ハイブリッド表文質問応答(QA)は異種情報からの推論を必要とし、推論のタイプは主に数値的推論とスパン抽出に分けられる。 現在の数値推論法はプログラムシーケンスを自己回帰的にデコードし、各デコードステップは演算子またはオペランドを生成する。 しかし、ステップバイステップの復号は露光バイアスに苦しめられ、エラー伝搬により復号が展開するにつれてプログラム生成の精度が急激に低下する。 本稿では,演算子とオペランドの両方を含む完全プログラムタプルを独立に生成し,プログラム生成の高速化を図りつつ,エラー伝搬問題に対処する非自己回帰型プログラム生成フレームワークを提案する。 ConvFinQAとMultiHierttデータセットの実験によると、我々の非自己回帰型プログラム生成手法は、強力なFinQANet(+5.06 Exe Accおよび+4.80 Prog Accポイント)とMT2Net(+7.97 EMおよび+6.38 F1ポイント)のベースラインよりも大幅に改善され、プログラム生成においてはるかに高速な(21x)。 最後に,数値推論ステップの増加に伴い,本手法の性能低下はベースラインよりも著しく小さくなった。 私たちのコードはまもなく公開されます。

関連論文リスト

• Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
  言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。 すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。 我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
  論文  参考訳（メタデータ） (2024-05-25T19:40:50Z)
• Towards Neural Synthesis for SMT-Assisted Proof-Oriented Programming [8.34623776815378]
  我々は600K行のオープンソースF*プログラムと証明のデータセットをキュレートする。 このデータセットには、Windows、Linux、Python、Firefoxなど、プロダクションシステムで使用されるソフトウェアが含まれている。 我々は,AIを用いてプログラムとその証明をF*で合成し,有望な結果を得る。
  論文  参考訳（メタデータ） (2024-05-03T00:14:33Z)
• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning [53.2491163874712]
  我々は数値推論の問題を解くために方程式をIMRとして利用する。 本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。 本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
  論文  参考訳（メタデータ） (2023-08-21T09:35:33Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Leveraging Causal Inference for Explainable Automatic Program Repair [24.146216081282798]
  本稿では,因果推論を用いたシーケンス・ツー・シーケンスモデルに基づくプログラム修復のための解釈可能なアプローチを提案する。 我々の手法はCPRと呼ばれ、因果プログラムの修復に短い。 4つのプログラミング言語の実験では、CPRが合理的な解釈のために因果グラフを生成できることが示されている。
  論文  参考訳（メタデータ） (2022-05-26T13:25:33Z)
• Lossless Acceleration for Seq2seq Generation with Aggressive Decoding [74.12096349944497]
  アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。 提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。 複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
  論文  参考訳（メタデータ） (2022-05-20T17:59:00Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• AutoPhase: Juggling HLS Phase Orderings in Random Forests with Deep Reinforcement Learning [17.584552398664737]
  AutoPhaseは、プログラムを受け取り、深い強化学習を使用して、実行時間を最小限にするコンパイルパスのシーケンスを見つけるフレームワークである。 本稿では,-O3コンパイラフラグを使用する場合と比較して,AutoPhaseは回路性能を28%向上することを示す。 既存の最先端のソリューションとは異なり、我々の深層強化学習ソリューションは、実際のベンチマークを一般化する有望な結果を示している。
  論文  参考訳（メタデータ） (2020-03-02T05:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。