論文の概要: Probing for Labeled Dependency Trees

• arxiv url: http://arxiv.org/abs/2203.12971v1
• Date: Thu, 24 Mar 2022 10:21:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 13:54:26.244140
• Title: Probing for Labeled Dependency Trees
• Title（参考訳）: ラベル付き依存木の探索
• Authors: Max M\"uller-Eberstein, Rob van der Goot and Barbara Plank
• Abstract要約: DepProbeは、埋め込みからラベル付きおよび指示付き依存関係解析木を抽出できる線形プローブである。 提案手法は13言語にまたがって,当時最高のソースツリーバンクを同定する。
• 参考スコア（独自算出の注目度）: 25.723591566201343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probing has become an important tool for analyzing representations in Natural Language Processing (NLP). For graphical NLP tasks such as dependency parsing, linear probes are currently limited to extracting undirected or unlabeled parse trees which do not capture the full task. This work introduces DepProbe, a linear probe which can extract labeled and directed dependency parse trees from embeddings while using fewer parameters and compute than prior methods. Leveraging its full task coverage and lightweight parametrization, we investigate its predictive power for selecting the best transfer language for training a full biaffine attention parser. Across 13 languages, our proposed method identifies the best source treebank 94% of the time, outperforming competitive baselines and prior work. Finally, we analyze the informativeness of task-specific subspaces in contextual embeddings as well as which benefits a full parser's non-linear parametrization provides.
• Abstract（参考訳）: 自然言語処理(NLP)における表現を解析するための重要なツールとなっている。 依存性解析のようなグラフィカルなNLPタスクでは、リニアプローブは現在、全タスクをキャプチャしない無方向または未ラベルのパースツリーの抽出に制限されている。 この研究は、ラベル付きおよび指示付き依存関係解析木を埋め込みから抽出できる線形プローブであるDepProbeを導入し、従来の方法よりも少ないパラメータと計算を使用する。 タスクの完全なカバレッジと軽量なパラメータ化を活用して,biaffineアテンションパーサのトレーニングに最適なトランスファー言語を選択するための予測能力について検討する。 提案手法は,13言語にまたがって最適なソースツリーバンクの94%を識別し,競合ベースラインや先行作業よりも優れています。 最後に,文脈埋め込みにおけるタスク固有部分空間の情報量や,完全パーサの非線形パラメトリゼーションの利点について分析する。

関連論文リスト

• Tree-Averaging Algorithms for Ensemble-Based Unsupervised Discontinuous Constituency Parsing [23.091613114955543]
  予測木を平均化することにより,既存の不連続な動作の異なるアンサンブルを構築することを提案する。 次に、タスクに取り組むための効率的な正確なアルゴリズムを開発し、全てのサンプルに対して妥当な時間で実行します。 3つのデータセットの結果は、我々のメソッドがすべてのメトリクスですべてのベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-02-29T21:49:31Z)
• Hexatagging: Projective Dependency Parsing as Tagging [63.5392760743851]
  文中の単語を有限個の可能なタグの要素でタグ付けすることで、依存関係木を構成する新しい依存性であるヘキサトガーを導入する。 私たちのアプローチは、トレーニング時に完全に並列化可能です。すなわち、依存関係のパースを構築するのに必要な構造構築アクションは、互いに並列に予測できます。 我々はPenn Treebankテストセット上で96.4 LASと97.4 UASの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-08T18:02:07Z)
• On Parsing as Tagging [66.31276017088477]
  そこで我々は,現在最先端の選挙区タグであるテトラタグを減らして,シフト-リデュース解析を行う方法を示す。 我々は、線形化器、学習者、復号器の異なる選択でタグ付けパイプラインの分類を実証的に評価する。
  論文  参考訳（メタデータ） (2022-11-14T13:37:07Z)
• Compositional Task-Oriented Parsing as Abstractive Question Answering [25.682923914685063]
  タスク指向構文解析は、自然言語をアラームの設定など特定のタスクの機械可読表現に変換することを目的としている。 TOP に対する一般的なアプローチは、線形化されたパースツリーを生成するために seq2seq モデルを適用することである。 より最近の研究は、事前訓練されたSeq2seqモデルは、それ自体が自然言語である出力を生成するのに優れており、線形化されたパースツリーを標準自然言語のパラフレーズに置き換えていると主張している。
  論文  参考訳（メタデータ） (2022-05-04T14:01:08Z)
• Rissanen Data Analysis: Examining Dataset Characteristics via Description Length [78.42578316883271]
  特定の能力が与えられたデータの正確なモデルを達成するのに役立つかどうかを判断する手法を提案する。 最小プログラム長は計算不可能であるため,ラベルの最小記述長(MDL)をプロキシとして推定する。 我々は、mdlの父にちなんで、rissanen data analysis (rda) と呼ぶ。
  論文  参考訳（メタデータ） (2021-03-05T18:58:32Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
  アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。 本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。 提案するAL戦略は,他のAL戦略よりも有意差で優れている。
  論文  参考訳（メタデータ） (2020-11-02T06:24:58Z)
• Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads [27.578115452635625]
  そこで本研究では, PLM の注目点から区切り木を抽出する, 完全に教師なしの構文解析手法を提案する。 我々は、トランスフォーマーのアテンションヘッドを、その特性に基づいてランク付けし、最終ツリーを生成するために、上位のヘッドのアンサンブルを作成します。 我々の実験は、PLMが暗黙的に学習する文法を分析するツールとしても利用できる。
  論文  参考訳（メタデータ） (2020-10-19T13:51:40Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT [29.04485839262945]
  本稿では,事前学習した言語モデル(例えばBERT)をパラメータフリーで解析する手法を提案する。 本手法では,探索作業の直接の監督や,探索プロセスへの追加パラメータの導入は不要である。 BERTを用いた実験により, BERTから回収した構文木は, 言語的に非インフォームされたベースラインよりも有意に優れていることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T14:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。