論文の概要: Depth $F_1$: Improving Evaluation of Cross-Domain Text Classification by Measuring Semantic Generalizability

• arxiv url: http://arxiv.org/abs/2406.14695v1
• Date: Thu, 20 Jun 2024 19:35:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 17:49:36.249654
• Title: Depth $F_1$: Improving Evaluation of Cross-Domain Text Classification by Measuring Semantic Generalizability
• Title（参考訳）: 深度$F_1$:意味的一般化性の測定によるクロスドメインテキスト分類の評価の改善
• Authors: Parker Seegmiller, Joseph Gatto, Sarah Masud Preum,
• Abstract要約: クロスドメインテキスト分類モデルの最近の評価は、ソースドメイン内のラベル付きサンプルが与えられた対象ドメインにおいて、ドメイン不変性能を得るためのモデルの能力を測定することを目的としている。 この評価戦略は、ソースドメインとターゲットドメインの類似性を考慮せず、モデルが学習をソースドメインと非常に異なる特定のターゲットサンプルに転送できない場合、マスクする可能性がある。 我々は、新しいクロスドメインテキスト分類性能指標であるDepth $F_1$を紹介した。
• 参考スコア（独自算出の注目度）: 0.9954382983583578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent evaluations of cross-domain text classification models aim to measure the ability of a model to obtain domain-invariant performance in a target domain given labeled samples in a source domain. The primary strategy for this evaluation relies on assumed differences between source domain samples and target domain samples in benchmark datasets. This evaluation strategy fails to account for the similarity between source and target domains, and may mask when models fail to transfer learning to specific target samples which are highly dissimilar from the source domain. We introduce Depth $F_1$, a novel cross-domain text classification performance metric. Designed to be complementary to existing classification metrics such as $F_1$, Depth $F_1$ measures how well a model performs on target samples which are dissimilar from the source domain. We motivate this metric using standard cross-domain text classification datasets and benchmark several recent cross-domain text classification models, with the goal of enabling in-depth evaluation of the semantic generalizability of cross-domain text classification models.
• Abstract（参考訳）: クロスドメインテキスト分類モデルの最近の評価は、ソースドメイン内のラベル付きサンプルが与えられた対象ドメインにおいて、ドメイン不変性能を得るためのモデルの能力を測定することを目的としている。 この評価の主要な戦略は、ベンチマークデータセットのソースドメインサンプルとターゲットドメインサンプルの仮定の違いに依存する。 この評価戦略は、ソースドメインとターゲットドメインの類似性を考慮せず、モデルが学習をソースドメインと非常に異なる特定のターゲットサンプルに転送できない場合、マスクする可能性がある。 我々は、新しいクロスドメインテキスト分類性能指標であるDepth $F_1$を紹介した。 F_1$のような既存の分類指標を補完するように設計されたDepth $F_1$は、モデルがソースドメインと異なるターゲットサンプルでどれだけうまく機能するかを測定する。 標準のクロスドメインテキスト分類データセットを用いてこの指標をモチベーションし、最近のクロスドメインテキスト分類モデルをベンチマークし、クロスドメインテキスト分類モデルのセマンティック・ジェネリザビリティーを詳細に評価することを目的としている。

関連論文リスト

• Semi-supervised Domain Adaptation via Prototype-based Multi-level Learning [4.232614032390374]
  半教師付きドメイン適応(SSDA)では、各クラスのいくつかのラベル付きターゲットサンプルが、完全なラベル付きソースドメインからターゲットドメインへの知識表現の転送を支援する。 本稿では,ラベル付き対象サンプルの可能性をうまく活用するために,プロトタイプベースのマルチレベル学習(ProML)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-04T10:09:30Z)
• A Two-Stage Framework with Self-Supervised Distillation For Cross-Domain Text Classification [46.47734465505251]
  クロスドメインテキスト分類は、ラベル付きデータを持たないターゲットドメインにモデルを適応させることを目的としている。 クロスドメインテキスト分類のための2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-18T06:21:40Z)
• Self-Paced Learning for Open-Set Domain Adaptation [50.620824701934]
  従来のドメイン適応手法は、ソースとターゲットドメインのクラスが同一であると仮定する。 オープンセットドメイン適応(OSDA)は、この制限に対処する。 そこで,本研究では,共通クラスと未知クラスを識別するための自己評価学習に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-10T14:11:09Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• Cross-Domain Adaptive Clustering for Semi-Supervised Domain Adaptation [85.6961770631173]
  半監視されたドメイン適応では、残りのターゲットサンプルのターゲットドメインガイド機能内のクラスごとのいくつかのラベル付きサンプルが、その周辺に集約される。 この問題に対処するために,クロスドメイン適応クラスタリングという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-19T16:07:32Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
  ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。 本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-04T23:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。