論文の概要: Promptly Predicting Structures: The Return of Inference

• arxiv url: http://arxiv.org/abs/2401.06877v3
• Date: Fri, 29 Mar 2024 18:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 11:22:19.207106
• Title: Promptly Predicting Structures: The Return of Inference
• Title（参考訳）: 急速に予測される構造:推論の返却
• Authors: Maitrey Mehta, Valentina Pyatkin, Vivek Srikumar,
• Abstract要約: ゼロショットと少数ショットの言語構造予測器を構築するためのフレームワークを提案する。 その結果, 整合性の維持は構造的に有効であるだけでなく, 性能も向上することがわかった。
• 参考スコア（独自算出の注目度）: 31.442123334313035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-based methods have been used extensively across NLP to build zero- and few-shot label predictors. Many NLP tasks are naturally structured: that is, their outputs consist of multiple labels which constrain each other. Annotating data for such tasks can be cumbersome. Can the promise of the prompt-based paradigm be extended to such structured outputs? In this paper, we present a framework for constructing zero- and few-shot linguistic structure predictors. Our key insight is that we can use structural constraints -- and combinatorial inference derived from them -- to filter out inconsistent structures predicted by large language models. We instantiated this framework on two structured prediction tasks, and five datasets. Across all cases, our results show that enforcing consistency not only constructs structurally valid outputs, but also improves performance over the unconstrained variants.
• Abstract（参考訳）: プロンプトベースの手法は、ゼロショットと少数ショットのラベル予測器を構築するために、NLP全体で広く使われている。 多くのNLPタスクは自然に構造化されており、その出力は互いに制約する複数のラベルで構成されている。 このようなタスクにデータをアノテートするのは面倒です。 プロンプトベースのパラダイムの約束はそのような構造化出力に拡張できるだろうか? 本稿では,ゼロショットと少数ショットの言語構造予測器を構築するためのフレームワークを提案する。 私たちのキーとなる洞察は、構造的制約 -- およびそれらから派生した組合せ推論 -- を使用して、大きな言語モデルによって予測される一貫性のない構造をフィルタリングできるということです。 2つの構造化予測タスクと5つのデータセットに基づいて、このフレームワークをインスタンス化した。 いずれの場合も、一貫性の強制は構造的に有効な出力を構成するだけでなく、制約のない変種よりも性能も向上することを示す。

関連論文リスト

• Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
  本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。 本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。 CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
  論文  参考訳（メタデータ） (2023-09-10T02:55:12Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure [5.2869308707704255]
  StrAEは構造化オートエンコーダフレームワークであり、明示的な構造に厳格に固執することで、マルチレベル表現の効果的な学習を可能にする。 本研究の結果は,入力として提供される構造に直接的な関連性があることを示し,既存のツリーモデルではそうではないことを示す。 次に、StrAEを拡張して、単純なローカライズ・マージアルゴリズムを用いてモデルが独自の構成を定義する。
  論文  参考訳（メタデータ） (2023-05-09T16:20:48Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Randomized Deep Structured Prediction for Discourse-Level Processing [45.725437752821655]
  近年,表現型テキストエンコーダがNLPモデルの中心となっている。 複雑な議論構造を含むタスク群に対して,深層構造予測と表現型ニューラルネットワークエンコーダを効率的に活用できることを示す。
  論文  参考訳（メタデータ） (2021-01-25T21:49:32Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Representations of Syntax [MASK] Useful: Effects of Constituency and Dependency Structure in Recursive LSTMs [26.983602540576275]
  シーケンスベースのニューラルネットワークは、構文構造に対してかなりの感度を示すが、それでも木ベースのネットワークよりも構文上のタスクではうまく機能しない。 これら2つの表現スキームのどちらが構文構造に対するバイアスをより効果的に導入するかを評価する。 選挙区ネットワークは,依存性に基づくネットワークよりも強固に一般化し,これら2種類の構造を組み合わせることで,さらなる改善が得られないことを示す。
  論文  参考訳（メタデータ） (2020-04-30T18:00:06Z)
• Discontinuous Constituent Parsing with Pointer Networks [0.34376560669160383]
  不連続な構成木は、ドイツ語のような言語の文法的な現象を表現するのに不可欠である。 係り受け解析の最近の進歩は、ポインタネットワークが文中の単語間の構文関係を効率的に解析することに優れていることを示している。 本稿では,最も正確な不連続な構成表現を生成するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-05T15:12:03Z)
• Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
  本稿では,構造化予測ライブラリTorch-Structを紹介する。 Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
  論文  参考訳（メタデータ） (2020-02-03T16:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。