論文の概要: WiC-TSV: An Evaluation Benchmark for Target Sense Verification of Words in Context

• arxiv url: http://arxiv.org/abs/2004.15016v3
• Date: Wed, 27 Jan 2021 23:43:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:40:48.693109
• Title: WiC-TSV: An Evaluation Benchmark for Target Sense Verification of Words in Context
• Title（参考訳）: WiC-TSV:文脈における単語の意味検証のための評価ベンチマーク
• Authors: Anna Breit and Artem Revenko and Kiamehr Rezaee and Mohammad Taher Pilehvar and Jose Camacho-Collados
• Abstract要約: WiC-TSVはWord Sense Disambiguationの新しいマルチドメイン評価ベンチマークである。 文脈における単語のターゲットセンス検証のためのフレームワークを提案する。 我々は最先端の言語モデルを用いてデータセットにベースライン性能を設定した。
• 参考スコア（独自算出の注目度）: 14.90344809825099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present WiC-TSV, a new multi-domain evaluation benchmark for Word Sense Disambiguation. More specifically, we introduce a framework for Target Sense Verification of Words in Context which grounds its uniqueness in the formulation as a binary classification task thus being independent of external sense inventories, and the coverage of various domains. This makes the dataset highly flexible for the evaluation of a diverse set of models and systems in and across domains. WiC-TSV provides three different evaluation settings, depending on the input signals provided to the model. We set baseline performance on the dataset using state-of-the-art language models. Experimental results show that even though these models can perform decently on the task, there remains a gap between machine and human performance, especially in out-of-domain settings. WiC-TSV data is available at https://competitions.codalab.org/competitions/23683
• Abstract（参考訳）: We present WiC-TSV, a new multi-domain evaluation benchmark for Word Sense Disambiguation。 より具体的には、文脈における単語のターゲットセンス検証のためのフレームワークを導入し、その特徴を二分分類タスクとして定式化することで、外部感覚の在庫から独立し、様々なドメインをカバーする。 これにより、データセットはドメイン間のさまざまなモデルやシステムの評価に非常に柔軟になります。 WiC-TSVはモデルに提供される入力信号に応じて3つの異なる評価設定を提供する。 我々は最先端言語モデルを用いてデータセットにベースライン性能を設定する。 実験結果から,これらのモデルがタスクに対して良好に動作可能であるにもかかわらず,特にドメイン外設定では,マシンと人間のパフォーマンスのギャップが残っていることがわかった。 WiC-TSVデータはhttps://competitions.codalab.org/competitions/23683で利用可能である。

関連論文リスト

• SER Evals: In-domain and Out-of-domain Benchmarking for Speech Emotion Recognition [3.4355593397388597]
  音声感情認識(SER)は、強力な自己教師付き学習(SSL)モデルの出現に大きく貢献している。 本稿では,最先端SERモデルの堅牢性と適応性を評価するための大規模ベンチマークを提案する。 主に音声認識用に設計されたWhisperモデルは,言語横断SERにおいて,専用SSLモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T23:33:10Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Semantic Change Detection for the Romanian Language [0.5202524136984541]
  実世界のデータセット上に静的および文脈的単語埋め込みモデルを作成するための様々な戦略を分析する。 まず,英語データセット (SEMEVAL-CCOHA) とルーマニア語データセット (SEMEVAL-CCOHA) で単語埋め込みモデルの評価を行った。 実験結果から,コーパスによっては,モデルの選択と,意味的変化を検出するためのスコアを計算するための距離が最も重要な要因であることが示唆された。
  論文  参考訳（メタデータ） (2023-08-23T13:37:02Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Learning Decoupling Features Through Orthogonality Regularization [55.79910376189138]
  音声認識におけるキースポッティング(KWS)と話者検証(SV)は2つの重要なタスクである。 我々は,同じネットワーク構造を持つ2分岐のディープネットワーク(KWSブランチとSVブランチ)を開発する。 KWS と SV のパフォーマンスを同時に向上させるために,新しいデカップリング特徴学習法を提案する。
  論文  参考訳（メタデータ） (2022-03-31T03:18:13Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• Towards Understanding Sample Variance in Visually Grounded Language Generation: Evaluations and Observations [67.4375210552593]
  視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。 人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか? 人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
  論文  参考訳（メタデータ） (2020-10-07T20:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。