論文の概要: When Does Syntax Mediate Neural Language Model Performance? Evidence from Dropout Probes

• arxiv url: http://arxiv.org/abs/2204.09722v1
• Date: Wed, 20 Apr 2022 18:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-23 05:34:07.101832
• Title: When Does Syntax Mediate Neural Language Model Performance? Evidence from Dropout Probes
• Title（参考訳）: 構文はいつニューラルネットワークモデルのパフォーマンスを仲介するのか? ドロップアウトプローブからの証拠
• Authors: Mycal Tucker, Tiwalayo Eisape, Peng Qian, Roger Levy, and Julie Shah
• Abstract要約: モデルでは, 合成情報を冗長に符号化し, 埋め込みに存在するすべての構文情報を考えるために, プローブをガイドする新しいプローブ設計を導入する。 従来の手法ではそうでなかったモデルにおける構文の使用の証拠を見つけ,構文情報を表現に注入することでモデル性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 27.70448935595472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent causal probing literature reveals when language models and syntactic probes use similar representations. Such techniques may yield "false negative" causality results: models may use representations of syntax, but probes may have learned to use redundant encodings of the same syntactic information. We demonstrate that models do encode syntactic information redundantly and introduce a new probe design that guides probes to consider all syntactic information present in embeddings. Using these probes, we find evidence for the use of syntax in models where prior methods did not, allowing us to boost model performance by injecting syntactic information into representations.
• Abstract（参考訳）: 最近の因果調査文献では、言語モデルと構文プローブが類似の表現を使用する場合を明らかにしている。 モデルは構文の表現を使うが、プローブは同じ構文情報の冗長なエンコーディングを使うことを学んでいるかもしれない。 モデルが構文情報を冗長にエンコードすることを実証し、埋め込みに存在するすべての構文情報を考えるためにプローブをガイドする新しいプローブ設計を導入する。 これらのプローブを用いて,従来の手法ではなかったモデルにおける構文の使用の証拠を見つけ,構文情報を表現に注入することでモデル性能を向上させることができる。

関連論文リスト

• Generating Enhanced Negatives for Training Language-Based Object Detectors [86.1914216335631]
  我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。 具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。 実験により, 生成した負データとの関連性を確認し, 言語ベースの検出器での使用により, 2つの複雑なベンチマークの性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T23:04:00Z)
• Generating Prototypes for Contradiction Detection Using Large Language Models and Linguistic Rules [1.6497679785422956]
  矛盾検出のための新しいデータ生成手法を提案する。 我々は生成モデルに、特定の矛盾型の記述に関して矛盾するステートメントを作成するよう指示する。 補助的なアプローチとして、単純な矛盾を構築するために言語規則を用いる。
  論文  参考訳（メタデータ） (2023-10-23T09:07:27Z)
• Probing for Incremental Parse States in Autoregressive Language Models [9.166953511173903]
  自己回帰型ニューラルネットワークモデルからの次の単語予測は、構文に対する顕著な感度を示す。 この研究は、漸進的な構文構造の暗黙的な表現を維持する学習能力の結果として、この振る舞いが生じる範囲を評価する。
  論文  参考訳（メタデータ） (2022-11-17T18:15:31Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• What if This Modified That? Syntactic Interventions via Counterfactual Embeddings [19.3614797257652]
  先行技術は、プローブを通してモデル表現内の有意義な特性を明らかにすることを目的としているが、そのようなプローブがモデルが実際に使っている情報をどのように忠実に表現しているかは明らかではない。 本稿では,因果解析にインスパイアされた手法を提案する。 本手法の実験では,下流予測タスクにおいて,BERTをベースとしたモデルでは木間距離のような構文表現が用いられていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T17:27:04Z)
• Bird's Eye: Probing for Linguistic Graph Structures with a Simple Information-Theoretic Approach [23.66191446048298]
  本研究では,言語グラフに表現がエンコードされているかどうかを検知する新しい情報理論プローブ,Bird's Eyeを提案する。 また,本研究では,摂動解析を用いて言語グラフの局所言語情報を調べる手法を提案する。
  論文  参考訳（メタデータ） (2021-05-06T13:01:57Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。