論文の概要: Revisiting the Effects of Leakage on Dependency Parsing
- arxiv url: http://arxiv.org/abs/2203.12815v1
- Date: Thu, 24 Mar 2022 02:33:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 13:54:37.650569
- Title: Revisiting the Effects of Leakage on Dependency Parsing
- Title(参考訳): 漏洩が依存パーシングに及ぼす影響の再検討
- Authors: Nathaniel Krasner, Miriam Wanner, Antonios Anastasopoulos
- Abstract要約: Sogaard氏の最近の研究によると、ツリーバンクのサイズはさておき、トレーニンググラフとテストグラフの重なり合い(終端リーク)は、他の説明よりも依存性解析のパフォーマンスの観察されたばらつきについて説明している。
この作業では、この主張を再考し、より多くのモデルや言語でそれをテストします。
本報告では, 従来の測定値と異なり, より微細な測定値を提案するとともに, 観測性能の変動と相関する。
- 参考スコア(独自算出の注目度): 30.963143147981555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work by S{\o}gaard (2020) showed that, treebank size aside, overlap
between training and test graphs (termed leakage) explains more of the observed
variation in dependency parsing performance than other explanations. In this
work we revisit this claim, testing it on more models and languages. We find
that it only holds for zero-shot cross-lingual settings. We then propose a more
fine-grained measure of such leakage which, unlike the original measure, not
only explains but also correlates with observed performance variation. Code and
data are available here: https://github.com/miriamwanner/reu-nlp-project
- Abstract(参考訳): S{\o}gaard (2020) による最近の研究によると、ツリーバンクのサイズは別として、トレーニンググラフとテストグラフの重なり合い(終端リーク)は、他の説明よりも依存性解析性能の観察されたばらつきを説明できる。
この作業では、この主張を再考し、より多くのモデルや言語でそれをテストします。
ゼロショットのクロスリンガル設定のみに対応しています。
そこで本研究では,本手法と異なり,測定結果のばらつきと相関する,よりきめ細かい漏洩測定法を提案する。
コードとデータはここにある。 https://github.com/miriamwanner/reu-nlp-project
関連論文リスト
- Can Large Language Models Infer Causation from Correlation? [80.38419293391397]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-09T12:09:15Z) - Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。
本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。
従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
論文 参考訳(メタデータ) (2023-05-30T06:40:08Z) - Understanding and Mitigating Spurious Correlations in Text
Classification with Neighborhood Analysis [69.07674653828565]
機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。
本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。
本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
論文 参考訳(メタデータ) (2023-05-23T03:55:50Z) - EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。
これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。
学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
論文 参考訳(メタデータ) (2022-11-02T16:25:54Z) - The Impact of Edge Displacement Vaserstein Distance on UD Parsing
Performance [3.7311680121118345]
本研究では,トレーニングデータとテストデータにおけるエッジ変位分布の違いを評価する。
そして、多くの統計的手法を用いて、この仮説を偽造しようと試みる。
より広い意味では、ここで提示される方法論は、NLPにおける将来の相関に基づく探索研究のリファレンスとして機能することができる。
論文 参考訳(メタデータ) (2022-09-15T08:37:12Z) - On the Relation between Syntactic Divergence and Zero-Shot Performance [22.195133438732633]
我々は、英語から多種多様な言語にパースするUniversal Dependencies (UD) を移譲し、2つの実験を行う。
我々は、英語のソースエッジが翻訳で保存される範囲に基づいてゼロショット性能を解析する。
両実験の結果から,言語間安定性とゼロショット解析性能の強い関係が示唆された。
論文 参考訳(メタデータ) (2021-10-09T21:09:21Z) - A Closer Look at Temporal Sentence Grounding in Videos: Datasets and
Metrics [70.45937234489044]
2つの広く使用されているTSGVデータセット(Charades-STAとActivityNet Captions)を再編成し、トレーニング分割と異なるものにします。
基本的なIoUスコアを校正するために、新しい評価基準「dR@$n$,IoU@$m$」を導入する。
すべての結果は、再編成されたデータセットと新しいメトリクスがTSGVの進捗をよりよく監視できることを示している。
論文 参考訳(メタデータ) (2021-01-22T09:59:30Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳(メタデータ) (2020-10-08T16:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。