論文の概要: Zero and Few-shot Semantic Parsing with Ambiguous Inputs

• arxiv url: http://arxiv.org/abs/2306.00824v2
• Date: Mon, 22 Jan 2024 14:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 21:37:35.758050
• Title: Zero and Few-shot Semantic Parsing with Ambiguous Inputs
• Title（参考訳）: 曖昧な入力を用いたゼロおよびマイショット意味解析
• Authors: Elias Stengel-Eskin and Kyle Rawlins and Benjamin Van Durme
• Abstract要約: 私たちは、曖昧な自然言語を論理やコードといった形式的な表現に変換するためのフレームワーク、データセット、課題であるAmPを紹介します。 我々は,AmPを用いて,複数ショットのテキスト・ツー・コードシステムがあいまいさをどのように処理し,新しいメトリクスを3つ導入するかを検討する。 事前学習された大規模なモデルでは,意図的な指示を伴わずに,可能な意味の分布を把握できないことが判明した。
• 参考スコア（独自算出の注目度）: 45.285508941560295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the frequent challenges posed by ambiguity when representing meaning via natural language, it is often ignored or deliberately removed in tasks mapping language to formally-designed representations, which generally assume a one-to-one mapping between linguistic and formal representations. We attempt to address this shortcoming by introducing AmP, a framework, dataset, and challenge for translating ambiguous natural language to formal representations like logic and code. We define templates and generate data for five well-documented linguistic ambiguities. Using AmP, we investigate how several few-shot text-to-code systems handle ambiguity, introducing three new metrics. We find that large pre-trained models perform poorly at capturing the distribution of possible meanings without deliberate instruction. However, models are able to capture the distribution well when ambiguity is attested in their inputs. These results motivate a call for including ambiguity explicitly in datasets and promote considering the distribution of possible outputs when evaluating systems. Data and code: https://github.com/esteng/ambiguous_parsing
• Abstract（参考訳）: 自然言語を通して意味を表現する際に曖昧さによってしばしば生じる困難にもかかわらず、言語を形式的に設計された表現にマッピングするタスクにおいて、しばしば無視または故意に排除される。 私たちは、AmPというフレームワーク、データセットを導入し、曖昧な自然言語を論理やコードのような形式的な表現に翻訳する挑戦を試みています。 テンプレートを定義し、5つのよく文書化された言語曖昧さのためのデータを生成する。 我々は,AmPを用いて,複数ショットのテキスト・ツー・コードシステムがあいまいさをどのように処理し,新しいメトリクスを3つ導入するかを検討する。 大規模事前学習モデルでは,意図的な指示なしに可能な意味の分布を把握できないことが判明した。 しかし、モデルが入力にあいまいさが認められると、よく分布を捉えることができる。 これらの結果は、データセットにあいまいさを明示的に含め、システム評価時に出力の分布を考慮することを促進する。 データとコード: https://github.com/esteng/ambiguous_parsing

関連論文リスト

• Reasoning about Ambiguous Definite Descriptions [2.5398014196797605]
  自然言語推論は、複雑な言語理解タスクを解く言語モデルの能力を改善する上で重要な役割を果たす。 言語におけるあいまいさを解決するために、大規模言語モデルが明示的な推論をどの程度有効に活用できるかを評価するためのリソースは存在しない。 この目的のためにあいまいな明確な記述を用い、そのようなフレーズからなる最初のベンチマークデータセットを作成し、公開することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T07:52:38Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Few-Shot Semantic Parsing with Language Models Trained On Code [52.23355024995237]
  Codexは同等のGPT-3モデルよりもセマンティックパーシングが優れていることがわかった。 GPT-3とは異なり、Codexは意味表現を直接ターゲットとする場合、おそらく意味解析で使われる意味表現がコードと似た構造になっているように、同じように機能する。
  論文  参考訳（メタデータ） (2021-12-16T08:34:06Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。