論文の概要: Revisiting the Effects of Leakage on Dependency Parsing

• arxiv url: http://arxiv.org/abs/2203.12815v1
• Date: Thu, 24 Mar 2022 02:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 13:54:37.650569
• Title: Revisiting the Effects of Leakage on Dependency Parsing
• Title（参考訳）: 漏洩が依存パーシングに及ぼす影響の再検討
• Authors: Nathaniel Krasner, Miriam Wanner, Antonios Anastasopoulos
• Abstract要約: Sogaard氏の最近の研究によると、ツリーバンクのサイズはさておき、トレーニンググラフとテストグラフの重なり合い(終端リーク)は、他の説明よりも依存性解析のパフォーマンスの観察されたばらつきについて説明している。 この作業では、この主張を再考し、より多くのモデルや言語でそれをテストします。 本報告では, 従来の測定値と異なり, より微細な測定値を提案するとともに, 観測性能の変動と相関する。
• 参考スコア（独自算出の注目度）: 30.963143147981555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work by S{\o}gaard (2020) showed that, treebank size aside, overlap between training and test graphs (termed leakage) explains more of the observed variation in dependency parsing performance than other explanations. In this work we revisit this claim, testing it on more models and languages. We find that it only holds for zero-shot cross-lingual settings. We then propose a more fine-grained measure of such leakage which, unlike the original measure, not only explains but also correlates with observed performance variation. Code and data are available here: https://github.com/miriamwanner/reu-nlp-project
• Abstract（参考訳）: S{\o}gaard (2020) による最近の研究によると、ツリーバンクのサイズは別として、トレーニンググラフとテストグラフの重なり合い(終端リーク)は、他の説明よりも依存性解析性能の観察されたばらつきを説明できる。 この作業では、この主張を再考し、より多くのモデルや言語でそれをテストします。 ゼロショットのクロスリンガル設定のみに対応しています。 そこで本研究では,本手法と異なり,測定結果のばらつきと相関する,よりきめ細かい漏洩測定法を提案する。 コードとデータはここにある。 https://github.com/miriamwanner/reu-nlp-project

関連論文リスト

• Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
  対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。 このアプローチは英語以外のタスクではうまくいきません。 モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T15:14:01Z)
• Subgraph Pooling: Tackling Negative Transfer on Graphs [38.63554842214315]
  伝達学習は、関連するタスクからの知識を利用することで、目標タスクのパフォーマンスを向上させることを目的としている。 負の転送は、ソースグラフとターゲットグラフがセマンティックな類似性を持つ場合でも、グラフ構造化データで一般的に発生する。 グラフ構造の違いが知識伝達に与える影響を軽減するため,kホップ近傍からサンプリングしたノードとランダムウォークによりサブグラフポーリング++(SP++)を集約してサブグラフポーリング(SP)を導入する。
  論文  参考訳（メタデータ） (2024-02-14T02:46:47Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
  統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。 本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。 従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
  論文  参考訳（メタデータ） (2023-05-30T06:40:08Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)
• The Impact of Edge Displacement Vaserstein Distance on UD Parsing Performance [3.7311680121118345]
  本研究では,トレーニングデータとテストデータにおけるエッジ変位分布の違いを評価する。 そして、多くの統計的手法を用いて、この仮説を偽造しようと試みる。 より広い意味では、ここで提示される方法論は、NLPにおける将来の相関に基づく探索研究のリファレンスとして機能することができる。
  論文  参考訳（メタデータ） (2022-09-15T08:37:12Z)
• On the Relation between Syntactic Divergence and Zero-Shot Performance [22.195133438732633]
  我々は、英語から多種多様な言語にパースするUniversal Dependencies (UD) を移譲し、2つの実験を行う。 我々は、英語のソースエッジが翻訳で保存される範囲に基づいてゼロショット性能を解析する。 両実験の結果から,言語間安定性とゼロショット解析性能の強い関係が示唆された。
  論文  参考訳（メタデータ） (2021-10-09T21:09:21Z)
• A Closer Look at Temporal Sentence Grounding in Videos: Datasets and Metrics [70.45937234489044]
  2つの広く使用されているTSGVデータセット(Charades-STAとActivityNet Captions)を再編成し、トレーニング分割と異なるものにします。 基本的なIoUスコアを校正するために、新しい評価基準「dR@$n$,IoU@$m$」を導入する。 すべての結果は、再編成されたデータセットと新しいメトリクスがTSGVの進捗をよりよく監視できることを示している。
  論文  参考訳（メタデータ） (2021-01-22T09:59:30Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。