論文の概要: Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives

• arxiv url: http://arxiv.org/abs/2501.14617v1
• Date: Fri, 24 Jan 2025 16:36:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:12.413050
• Title: Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives
• Title（参考訳）: Funzac at CoMeDi Shared Task: Modeling Annotator Disagreement from Word-In-Context Perspectives (英語)
• Authors: Olufunke O. Sarumi, Charles Welch, Lucie Flek, Jörg Schlötterer,
• Abstract要約: 本研究は,CoMeDi共有タスクコンペティションの一環として,文脈的意味と不一致の関係について検討する。 共有タスクのために開発した3つの異なる手法について述べる。例えば、結合性、要素の相違、製品、コサイン類似性を組み合わせた機能強化アプローチについて述べる。 提案手法との比較により,拡張機能とタスク特化機能を含む手法の性能向上が示されている。
• 参考スコア（独自算出の注目度）: 9.393402145259342
• License:
• Abstract: In this work, we evaluate annotator disagreement in Word-in-Context (WiC) tasks exploring the relationship between contextual meaning and disagreement as part of the CoMeDi shared task competition. While prior studies have modeled disagreement by analyzing annotator attributes with single-sentence inputs, this shared task incorporates WiC to bridge the gap between sentence-level semantic representation and annotator judgment variability. We describe three different methods that we developed for the shared task, including a feature enrichment approach that combines concatenation, element-wise differences, products, and cosine similarity, Euclidean and Manhattan distances to extend contextual embedding representations, a transformation by Adapter blocks to obtain task-specific representations of contextual embeddings, and classifiers of varying complexities, including ensembles. The comparison of our methods demonstrates improved performance for methods that include enriched and task-specfic features. While the performance of our method falls short in comparison to the best system in subtask 1 (OGWiC), it is competitive to the official evaluation results in subtask 2 (DisWiC).
• Abstract（参考訳）: 本研究では,コメディ共有タスクコンペティションの一環として,文脈意味と不一致の関係を探索するWord-in-Context(WiC)タスクにおけるアノテータの不一致を評価する。 先行研究では、単文入力によるアノテータ属性の分析によって不一致をモデル化しているが、この共有タスクは、文レベルの意味表現とアノテータの判断変数のギャップを埋めるためにWiCを組み込んでいる。 共有タスクのために開発した3つの異なる手法について述べる。例えば、結合性、要素ワイド差分、製品、コサイン類似性を組み合わせた機能強化アプローチ、ユークリッドとマンハッタンの距離を拡張してコンテキスト埋め込み表現、コンテキスト埋め込みのタスク固有の表現を得るAdapterブロックによる変換、アンサンブルを含む様々な複雑さの分類などである。 提案手法との比較により,拡張機能とタスク特化機能を含む手法の性能向上が示されている。 提案手法の性能は, サブタスク1(OGWiC)の最適システムと比較して劣るが, サブタスク2(DisWiC)の公式評価結果と競合する。

関連論文リスト

• JuniperLiu at CoMeDi Shared Task: Models as Annotators in Lexical Semantics Disagreements [5.336744348106775]
  本稿では,CoMeDi共有タスクのためのシステムの結果について述べる。 提案手法は,事前学習された言語モデルに基づいて学習したアンサンブルベースおよびしきい値ベース手法とモデル戦略を組み合わせる。 モデル操作における連続的関連度スコアの標準偏差は,人間の不一致アノテーションと相関することがわかった。
  論文  参考訳（メタデータ） (2024-11-19T00:50:06Z)
• A Simple Image Segmentation Framework via In-Context Examples [59.319920526160466]
  本稿では,テキスト内例を利用したシンプルな画像フレームワークであるSINEを提案する。 In-context Interactionモジュールを導入し、インコンテキスト情報を補完し、ターゲット画像とインコンテキストの例との相関関係を生成する。 様々なセグメンテーションタスクの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-07T08:59:05Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Modeling Task Interactions in Document-Level Joint Entity and Relation Extraction [20.548299226366193]
  Graph Compatibility(GC)は、タスク特性を活用するために設計されており、直接タスク干渉のための2つのタスクの決定をブリッジする。 GCは、ベースラインよりも2.3/5.1 F1の改善によって最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-04T06:18:28Z)
• DisCoDisCo at the DISRPT2021 Shared Task: A System for Discourse Segmentation, Classification, and Connective Detection [4.371388370559826]
  我々のシステムはDisCoDisCoと呼ばれ、コンテキスト化された単語の埋め込みを手作りの機能で強化する。 関係分類の結果は、新しい2021ベンチマークで強い性能を示している。 複数の事前学習されたトランスフォーマーベース言語モデルの部分評価は、Next Sentence Predictionタスクで事前学習されたモデルが関係分類に最適であることを示している。
  論文  参考訳（メタデータ） (2021-09-20T18:11:05Z)
• Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on Spoken Language Understanding [101.24748444126982]
  分解可能なタスクは複雑で、サブタスクの階層から構成される。 しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。 サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-29T02:53:59Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Pairwise Representation Learning for Event Coreference [73.10563168692667]
  イベント参照ペアのためのペアワイズ表現学習(Pairwise Representation Learning, PairwiseRL)手法を開発した。 私たちの表現は、イベントとその引数のエンコーディングを容易にするために、テキストスニペットのより微細で構造化された表現をサポートします。 PairwiseRLは、その単純さにもかかわらず、クロスドキュメントとイントラドキュメントのイベントコアベンチマークベンチマークの両方において、従来の最先端のイベントコアシステムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-24T06:55:52Z)
• DCR-Net: A Deep Co-Interactive Relation Network for Joint Dialog Act Recognition and Sentiment Classification [77.59549450705384]
  ダイアログシステムでは、ダイアログアクト認識と感情分類は2つの相関タスクである。 既存のシステムのほとんどは、それらを別々のタスクとして扱うか、単に2つのタスクを一緒にモデル化するだけです。 本稿では,2つのタスク間の相互作用をモデル化するディープ・コ・インタラクティブ・リレーショナル・ネットワーク(DCR-Net)を提案する。
  論文  参考訳（メタデータ） (2020-08-16T14:13:32Z)
• Mutlitask Learning for Cross-Lingual Transfer of Semantic Dependencies [21.503766432869437]
  我々は,意味的アノテーションのない言語に対して,広範囲なセマンティック依存関係を開発する。 我々はアノテーション投影法と組み合わせたマルチタスク学習フレームワークを利用する。 ドメイン内のSemEvalデータにおいて、最良マルチタスクモデルにより、単一タスクベースライン上のラベル付きF1スコアが1.8向上することを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。