論文の概要: Few-Shot Adaptation for Parsing Contextual Utterances with LLMs

• arxiv url: http://arxiv.org/abs/2309.10168v1
• Date: Mon, 18 Sep 2023 21:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 17:28:56.359668
• Title: Few-Shot Adaptation for Parsing Contextual Utterances with LLMs
• Title（参考訳）: LLMを用いた文脈発話解析のためのFew-Shot Adaptation
• Authors: Kevin Lin, Patrick Xia, Hao Fang
• Abstract要約: 実世界の設定では、アノテーションのコストのため、通常は限られた数の文脈的発話しか存在しない。 対話型意味解析における4つの主要なパラダイムについて検討する。 コンテキスト内学習と微調整の実験は、Rewrite-then-Parseが最も有望なパラダイムであることを示唆している。
• 参考スコア（独自算出の注目度）: 25.22099517947426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We evaluate the ability of semantic parsers based on large language models (LLMs) to handle contextual utterances. In real-world settings, there typically exists only a limited number of annotated contextual utterances due to annotation cost, resulting in an imbalance compared to non-contextual utterances. Therefore, parsers must adapt to contextual utterances with a few training examples. We examine four major paradigms for doing so in conversational semantic parsing i.e., Parse-with-Utterance-History, Parse-with-Reference-Program, Parse-then-Resolve, and Rewrite-then-Parse. To facilitate such cross-paradigm comparisons, we construct SMCalFlow-EventQueries, a subset of contextual examples from SMCalFlow with additional annotations. Experiments with in-context learning and fine-tuning suggest that Rewrite-then-Parse is the most promising paradigm when holistically considering parsing accuracy, annotation cost, and error types.
• Abstract（参考訳）: 本研究では,大言語モデル(LLM)に基づく意味的パーサの文脈的発話処理能力を評価する。 実世界の設定では、アノテーションのコストによる注釈付き文脈発話の限られた数しか存在せず、非文脈発話と比較して不均衡となる。 したがって、パーサーはいくつかのトレーニング例で文脈的発話に適応する必要がある。 本稿では,対話型セマンティック解析における4つの主要なパラダイム,すなわちParse-with-Utterance-History,Parse-with-Reference-Program,Parse-then-Resolve,Rewrite-then-Parseについて検討する。 このようなパラダイム間比較を容易にするため、SMCalFlowからコンテキストサンプルのサブセットであるSMCalFlow-EventQueriesを追加アノテーションで構築する。 文脈内学習と微調整による実験は、構文解析の正確性、アノテーションコスト、エラータイプを考える際に最も有望なパラダイムであることを示唆している。

関連論文リスト

• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
  本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。 最終事実度スコアは、調整可能なスコアリング機構により算出される。 英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
  論文  参考訳（メタデータ） (2023-05-22T17:59:42Z)
• Semantic Parsing for Conversational Question Answering over Knowledge Graphs [63.939700311269156]
  本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。 本稿では,2つの意味解析手法を提案し,その課題を強調した。 私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
  論文  参考訳（メタデータ） (2023-01-28T14:45:11Z)
• Nonparametric Masked Language Modeling [113.71921977520864]
  既存の言語モデル(LM)は、有限語彙上のソフトマックスでトークンを予測する。 NPMは,このソフトマックスを参照コーパス内の各フレーズの非パラメトリック分布に置き換える最初の非パラメトリックマスク付き言語モデルである。 NPMは、コントラスト目的と全コーパス検索に対するバッチ内近似で効率的に訓練することができる。
  論文  参考訳（メタデータ） (2022-12-02T18:10:42Z)
• DP-Parse: Finding Word Boundaries from Raw Speech with an Instance Lexicon [18.05179713472479]
  DP-Parseも同様の原理を用いるが、ワードトークンのインスタンスレキシコンにのみ依存する。 Zero Resource Speech Benchmark 2017で、我々のモデルは5つの言語で新しい音声セグメンテーション状態を設定する。 型レキシコンが欠如しているにもかかわらず、DP-Parseは言語モデルにパイプライン化され、新しい音声単語埋め込みベンチマークで評価されるように、セマンティック表現を学ぶことができる。
  論文  参考訳（メタデータ） (2022-06-22T19:15:57Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Automatic Correction of Syntactic Dependency Annotation Differences [17.244143187393078]
  本稿では,依存関係解析コーパス間のアノテーションミスマッチを自動的に検出する手法を提案する。 これら3つの手法は、新しいコーパスの見知らぬ例と既存のコーパスの同様の例を比較することに依存している。 Stanza (Qianu et al. 2020) と Parsing as Tagging (PaT) の2つの依存関係を変換および非変換データに基づいて再トレーニングすることで、これらの変換を評価する。
  論文  参考訳（メタデータ） (2022-01-15T17:17:55Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• An Imitation Game for Learning Semantic Parsers from User Interaction [43.66945504686796]
  ユーザから直接セマンティックアノテーションを学習するための代替手段として,Human-in-the-loop法を提案する。 セマンティクスはイントロスペクティブで、不確実な場合にはユーザデモをプロンプトする必要がある。 そうすることで、ユーザの振る舞いを模倣し、自らを自律的に改善し続けます。
  論文  参考訳（メタデータ） (2020-05-02T03:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。