論文の概要: Compositional Semantic Parsing with Large Language Models

• arxiv url: http://arxiv.org/abs/2209.15003v2
• Date: Fri, 30 Sep 2022 01:15:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 13:56:24.179760
• Title: Compositional Semantic Parsing with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた合成意味解析
• Authors: Andrew Drozdov, Nathanael Sch\"arli, Ekin Aky\"urek, Nathan Scales, Xinying Song, Xinyun Chen, Olivier Bousquet, Denny Zhou
• Abstract要約: 我々はより大きな語彙を持つより現実的な意味解析タスクにおける課題を特定する。 我々の最良の方法は最短のプロンプトに基づいている。 同様の取り組みが、他のタスクやドメインで新たな結果をもたらすことを期待しています。
• 参考スコア（独自算出の注目度）: 27.627684573915147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can reason compositionally when presented with new tasks. Previous research shows that appropriate prompting techniques enable large language models (LLMs) to solve artificial compositional generalization tasks such as SCAN. In this work, we identify additional challenges in more realistic semantic parsing tasks with larger vocabulary and refine these prompting techniques to address them. Our best method is based on least-to-most prompting: it decomposes the problem using prompting-based syntactic parsing, then uses this decomposition to select appropriate exemplars and to sequentially generate the semantic parse. This method allows us to set a new state of the art for CFQ while requiring only 1% of the training data used by traditional approaches. Due to the general nature of our approach, we expect similar efforts will lead to new results in other tasks and domains, especially for knowledge-intensive applications.
• Abstract（参考訳）: 人間は、新しいタスクを提示すると、構成的に推論できる。 従来の研究では、適切なプロンプト技術により、大きな言語モデル(LLM)がSCANのような人工的な合成一般化タスクを解くことができることが示されている。 本研究では,より大きな語彙を持つより現実的な意味解析タスクにおけるさらなる課題を特定し,これらの課題に対処する。 最良手法は最小限のプロンプトに基づいており、プロンプトベースの構文解析を用いて問題を分解し、この分解を用いて適切な例を選択し、セマンティック解析を逐次生成する。 本手法では,従来の手法で使用したトレーニングデータの1%しか必要とせず,CFQの新たな状態を設定することができる。 私たちのアプローチの一般的な性質から、同様の取り組みが他のタスクやドメイン、特に知識集約型アプリケーションで新たな結果をもたらすことを期待しています。

関連論文リスト

• Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey [0.0]
  本稿では, 合成一般化のための分析, 方法, 評価手法の最近の進歩をめざした文献調査を行う。 この種の一般化は、タスク指向対話のようなアプリケーションに対する意味解析のコミュニティに特に関係している。
  論文  参考訳（メタデータ） (2024-04-15T10:44:58Z)
• Get the gist? Using large language models for few-shot decontextualization [3.2271521193192734]
  本稿では,大規模言語モデルを用いたデコンテクスト化手法を提案する。 本手法は,少数の例のみを用いて,複数の領域で実行可能な性能を実現する。
  論文  参考訳（メタデータ） (2023-10-10T02:00:00Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
  プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。 本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
  論文  参考訳（メタデータ） (2023-07-26T01:07:52Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Training Naturalized Semantic Parsers with Very Little Data [10.709587018625275]
  State-of-the-art(SOTA)セマンティクスは、大量のテキストに基づいて事前訓練された大規模な言語モデルに基づくセク2セックアーキテクチャである。 最近の研究は意味解析の改革を探求しており、出力シーケンスはそれ自体が自然言語文である。 本手法は,Overnightデータセット上で新たなSOTA数ショット性能を実現する。
  論文  参考訳（メタデータ） (2022-04-29T17:14:54Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。