論文の概要: BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing

• arxiv url: http://arxiv.org/abs/2206.10668v2
• Date: Wed, 10 Jan 2024 06:11:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 18:16:23.082291
• Title: BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing
• Title（参考訳）: BenchCLAMP:構文解析と意味解析の言語モデル評価ベンチマーク
• Authors: Subhro Roy, Sam Thomson, Tongfei Chen, Richard Shin, Adam Pauls, Jason Eisner, Benjamin Van Durme
• Abstract要約: 本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
• 参考スコア（独自算出の注目度）: 55.058258437125524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that generation from a prompted or fine-tuned language model can perform well at semantic parsing when the output is constrained to be a valid semantic representation. We introduce BenchCLAMP, a Benchmark to evaluate Constrained LAnguage Model Parsing, that includes context-free grammars for seven semantic parsing datasets and two syntactic parsing datasets with varied output representations, as well as a constrained decoding interface to generate only valid outputs covered by these grammars. We provide low, medium, and high resource splits for each dataset, allowing accurate comparison of various language models under different data regimes. Our benchmark supports evaluation of language models using prompt-based learning as well as fine-tuning. We benchmark eight language models, including two GPT-3 variants available only through an API. Our experiments show that encoder-decoder pretrained language models can achieve similar performance or surpass state-of-the-art methods for syntactic and semantic parsing when the model output is constrained to be valid.
• Abstract（参考訳）: 最近の研究によると、出力が有効な意味表現であるように制約された場合、インジェクションまたは微調整された言語モデルの生成はセマンティック解析においてうまく機能する。 そこで我々は,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介した。このベンチマークには,セマンティックパーシングデータセットの文脈自由文法と,出力表現の異なる2つの構文解析データセットと,これらの文法がカバーする有効な出力のみを生成する制約付きデコードインターフェースが含まれている。 各データセットに対して低、中、高リソースの分割を提供し、異なるデータ構造下で様々な言語モデルの正確な比較を可能にする。 本ベンチマークでは,素早い学習と微調整による言語モデルの評価をサポートする。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。

関連論文リスト

• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
  本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。 提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-11-16T17:35:52Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models [102.63817106363597]
  ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。 20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。 研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
  論文  参考訳（メタデータ） (2022-04-19T10:23:42Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Contextualized Spoken Word Representations from Convolutional Autoencoders [2.28438857884398]
  本稿では,畳み込み型オートエンコーダに基づくニューラルアーキテクチャを提案し,様々な長さの音声単語の構文的かつ意味論的に適切な文脈化表現をモデル化する。 提案モデルでは,他の2つの言語モデルと比較して頑健性を示すことができた。
  論文  参考訳（メタデータ） (2020-07-06T16:48:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。