論文の概要: Detecting Redundant Health Survey Questions Using Language-agnostic BERT Sentence Embedding (LaBSE)

• arxiv url: http://arxiv.org/abs/2412.03817v1
• Date: Thu, 05 Dec 2024 02:18:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:30.240053
• Title: Detecting Redundant Health Survey Questions Using Language-agnostic BERT Sentence Embedding (LaBSE)
• Title（参考訳）: LaBSE (Language-Agnostic BERT Sentence Embedding) を用いた冗長健康調査
• Authors: Sunghoon Kang, Hyeoneui Kim, Hyewon Park, Ricky Taira,
• Abstract要約: 我々はNIH CDEリポジトリ, PROMIS, 韓国の公衆衛生機関, 学術出版物から, 英語と韓国語の両方で書かれた様々な健康調査質問をまとめた。 1758の質問ペアからなるセマンティックテキスト類似性データセットを生成するためにランダム化された質問ペア方式が用いられた。 各質問のペア間の類似度スコアは2人の人間専門家によって割り当てられた。
• 参考スコア（独自算出の注目度）: 0.27979733090439307
• License:
• Abstract: The goal of this work was to compute the semantic similarity among publicly available health survey questions in order to facilitate the standardization of survey-based Person-Generated Health Data (PGHD). We compiled various health survey questions authored in both English and Korean from the NIH CDE Repository, PROMIS, Korean public health agencies, and academic publications. Questions were drawn from various health lifelog domains. A randomized question pairing scheme was used to generate a Semantic Text Similarity (STS) dataset consisting of 1758 question pairs. Similarity scores between each question pair were assigned by two human experts. The tagged dataset was then used to build three classifiers featuring: Bag-of-Words, SBERT with BERT-based embeddings, and SBRET with LaBSE embeddings. The algorithms were evaluated using traditional contingency statistics. Among the three algorithms, SBERT-LaBSE demonstrated the highest performance in assessing question similarity across both languages, achieving an Area Under the Receiver Operating Characteristic (ROC) and Precision-Recall Curves of over 0.99. Additionally, it proved effective in identifying cross-lingual semantic similarities.The SBERT-LaBSE algorithm excelled at aligning semantically equivalent sentences across both languages but encountered challenges in capturing subtle nuances and maintaining computational efficiency. Future research should focus on testing with larger multilingual datasets and on calibrating and normalizing scores across the health lifelog domains to improve consistency. This study introduces the SBERT-LaBSE algorithm for calculating semantic similarity across two languages, showing it outperforms BERT-based models and the Bag of Words approach, highlighting its potential to improve semantic interoperability of survey-based PGHD across language barriers.
• Abstract（参考訳）: 本研究の目的は,PGHD(Person-Generated Health Data)の標準化を促進するために,公開健康調査における意味的類似性を計算することである。 我々はNIH CDEリポジトリ, PROMIS, 韓国の公衆衛生機関, 学術出版物から, 英語と韓国語の両方で書かれた様々な健康調査質問をまとめた。 様々な健康ライフログドメインから質問が寄せられた。 1758の質問ペアからなるセマンティックテキスト類似性(STS)データセットを生成するためにランダム化された質問ペア方式が用いられた。 各質問のペア間の類似度スコアは2人の人間専門家によって割り当てられた。 タグ付きデータセットを使用して、Bag-of-Words、BERTベースの埋め込みを備えたSBERT、LaBSE組み込みを備えたSBRETの3つの分類器が構築された。 アルゴリズムは従来の並行性統計を用いて評価した。 3つのアルゴリズムのうち、SBERT-LaBSEは両言語間の質問類似性を評価する上で最も高い性能を示し、受信者操作特性(ROC)と精度-リコール曲線の0.99を達成した。 さらに、SBERT-LaBSEアルゴリズムは、両言語間で意味論的に等価な文の整合性に優れるが、微妙なニュアンスを捕捉し、計算効率を維持する上での課題に遭遇した。 今後の研究は、より大きな多言語データセットによるテストと、一貫性を改善するために、ヘルスライフログドメイン全体にわたるスコアの校正と正規化に焦点を当てるべきである。 本研究では,2言語間のセマンティック類似性を計算するためのSBERT-LaBSEアルゴリズムを導入し,BERTベースのモデルとBag of Wordsアプローチより優れており,言語障壁を越えたサーベイベースPGHDのセマンティック相互運用性を向上させる可能性を示している。

関連論文リスト

• HYBRINFOX at CheckThat! 2024 -- Task 2: Enriching BERT Models with the Expert System VAGO for Subjectivity Detection [0.8083061106940517]
  HYBRINFOX法は評価データからマクロF1スコア0.7442で1位にランク付けした。 本稿では,我々のハイブリッドアプローチの原理を説明し,その手法を英語以外の言語にも適用する方法を概説する。
  論文  参考訳（メタデータ） (2024-07-04T09:29:19Z)
• Retrieval and Generative Approaches for a Pregnancy Chatbot in Nepali with Stemmed and Non-Stemmed Data : A Comparative Study [0.0]
  ネパール語のデータセットのパフォーマンスは、それぞれのアプローチで分析されている。 BERTをベースとした事前学習モデルでは,スクラッチトランスフォーマーモデルではスクラッチデータの性能が良好である。
  論文  参考訳（メタデータ） (2023-11-12T17:16:46Z)
• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
  PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。 本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。 これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-24T15:46:26Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• RuArg-2022: Argument Mining Evaluation [69.87149207721035]
  本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。 新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。 両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
  論文  参考訳（メタデータ） (2022-06-18T17:13:37Z)
• Investigating Lexical Replacements for Arabic-English Code-Switched Data Augmentation [32.885722714728765]
  CS (code-switching) NLPシステムにおけるデータ拡張手法について検討する。 単語整列並列コーパスを用いて語彙置換を行う。 これらのアプローチを辞書ベースの置換と比較する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:36Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Majority Voting with Bidirectional Pre-translation For Bitext Retrieval [2.580271290008534]
  一般的なアプローチは、2つの言語でペアの文書からいわゆる"pseudo-parallel"文をマイニングすることであった。 本稿では,現状の手法による問題を概説し,それらの問題に対する計算経済的解決策を提案し,新しい手法による成功を実証する。 実験に使用されるコードとデータは公開されています。
  論文  参考訳（メタデータ） (2021-03-10T22:24:01Z)
• Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
  本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。 BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。 そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T12:34:52Z)
• The Secret is in the Spectra: Predicting Cross-lingual Task Performance with Spectral Similarity Measures [83.53361353172261]
  本稿では,モノリンガル埋め込み空間の類似性とタスク性能の相関性に着目した大規模研究を行う。 2つの埋め込み空間間のいくつかの同型測度を導入し、それぞれのスペクトルの関連統計に基づく。 このようなスペクトル同型尺度から得られた言語類似度スコアは、異なる言語間タスクで観測された性能と強く関連していることを実証的に示す。
  論文  参考訳（メタデータ） (2020-01-30T00:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。