論文の概要: On Eliciting Syntax from Language Models via Hashing

• arxiv url: http://arxiv.org/abs/2410.04074v1
• Date: Sat, 5 Oct 2024 08:06:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 14:20:57.464870
• Title: On Eliciting Syntax from Language Models via Hashing
• Title（参考訳）: ハッシュによる言語モデルからの構文抽出について
• Authors: Yiran Wang, Masao Utiyama,
• Abstract要約: 教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。 本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。 本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
• 参考スコア（独自算出の注目度）: 19.872554909401316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised parsing, also known as grammar induction, aims to infer syntactic structure from raw text. Recently, binary representation has exhibited remarkable information-preserving capabilities at both lexicon and syntax levels. In this paper, we explore the possibility of leveraging this capability to deduce parsing trees from raw text, relying solely on the implicitly induced grammars within models. To achieve this, we upgrade the bit-level CKY from zero-order to first-order to encode the lexicon and syntax in a unified binary representation space, switch training from supervised to unsupervised under the contrastive hashing framework, and introduce a novel loss function to impose stronger yet balanced alignment signals. Our model shows competitive performance on various datasets, therefore, we claim that our method is effective and efficient enough to acquire high-quality parsing trees from pre-trained language models at a low cost.
• Abstract（参考訳）: 非教師なし構文解析は文法帰納法としても知られ、生のテキストから構文構造を推論することを目的としている。 最近、バイナリ表現は、語彙レベルと構文レベルの両方で顕著な情報保存機能を示した。 本稿では,モデル内の暗黙的に誘導される文法にのみ依存して,原文から解析木を推定する能力を活用する可能性について検討する。 これを実現するために、ビットレベルCKYをゼロ階から1階にアップグレードし、辞書と構文を統一されたバイナリ表現空間にエンコードし、コントラスト的なハッシュフレームワークの下で教師なしから教師なしへのトレーニングを切り替え、より強固でバランスの取れたアライメント信号を強制する新たなロス関数を導入する。 そこで,本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,効率的かつ効率的であると主張している。

関連論文リスト

• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Empirical Sufficiency Lower Bounds for Language Modeling with Locally-Bootstrapped Semantic Structures [4.29295838853865]
  語彙レベルでの意味構造の簡潔な二進ベクトル表現を設計する。 より優れたベースライン性能を達成するために、インクリメンタルタグがいかに優れているかを詳細に評価する。
  論文  参考訳（メタデータ） (2023-05-30T10:09:48Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。