論文の概要: Generalistic or Specific Embeddings, Which is Better? An Empirical Study on Search for Clinical Coding in Non-English Languages
- arxiv url: http://arxiv.org/abs/2605.30529v1
- Date: Thu, 28 May 2026 20:06:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.210109
- Title: Generalistic or Specific Embeddings, Which is Better? An Empirical Study on Search for Clinical Coding in Non-English Languages
- Title（参考訳）: 包括的・具体的埋め込みはどちらがよいか : 非英語における臨床符号化の探索に関する実証的研究
- Abstract要約: 我々は、英語、スペイン語、カタルーニャ語、イタリア語、ポルトガル語、フランス語を含むジェミニ生成合成データに基づいて、2段階のレトリバー(ビエンコーダ、クロスエンコーダリランカー)を構築した。
バイエンコーダはMRRのBioBERT-ST(0.876 vs. 0.866)と一致し、R@3(0.650 vs. 0.626)とR@5(0.804 vs. 0.790)に勝っている。
クロスエンコーダのリランカを追加することで,集約されたR@5を0.822にリフトし,5言語中4言語(+0.0)で支配的になる。
- 参考スコア（独自算出の注目度）: 1.2891210250935148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sentence-embedding models for semantic search are overwhelmingly developed and evaluated on English corpora. When applied to clinical retrieval in other languages -- particularly retrieval of ICD-10-CM / CIE-10 codes -- recall degrades in ways often masked by aggregate benchmarks. We study whether large generative language models can serve as data factories to close this gap. We build a two-stage retriever (bi-encoder followed by cross-encoder reranker), fine-tuned from a Spanish biomedical encoder (PlanTL-GOB-ES/bsc-bio-ehr-es) on Gemini-generated synthetic data covering English, Spanish, Catalan, Italian, Portuguese and French, and evaluate against BioBERT-ST and the un-tuned Spanish encoder. The bi-encoder alone matches BioBERT-ST on MRR (0.876 vs. 0.866) and overtakes it on R@3 (0.650 vs. 0.626) and R@5 (0.804 vs. 0.790) without English biomedical pretraining. Adding a cross-encoder reranker lifts aggregate R@5 to 0.822 and dominates on four of five languages (+0.017 Spanish, +0.033 Catalan, +0.018 French, +0.037 Portuguese) at the cost of a small English regression. The trade-off is clinically acceptable: Portuguese reaches R@5 = 0.829 vs. BioBERT-ST's 0.714. Contributions: an open recipe for building domain-specific medical retrievers from LLM-generated data; quantification of the learning gain (MRR 0.755 to 0.876, +15.9% with ~19,500 synthetic pairs); and a characterisation of where gains concentrate by language and rank.
- Abstract（参考訳）: 意味探索のための文埋め込みモデルを英語コーパスで圧倒的に開発・評価した。
他の言語(特にICD-10-CM/CIE-10符号の検索)での臨床検索に適用されると、集約ベンチマークによってしばしばマスクされる方法でリコールが劣化する。
大規模生成言語モデルがこのギャップを埋めるためにデータファクトリとして機能するかを検討する。
スペイン語のバイオメディカルエンコーダ(PlanTL-GOB-ES/bsc-bio-ehr-es)を英語,スペイン語,カタルーニャ語,イタリア語,ポルトガル語,フランス語で合成したジェミニ合成データを用いて微調整し,BioBERT-STと未修正のスペイン語エンコーダに対する評価を行った。
バイエンコーダはMRRのBioBERT-ST(0.876 vs. 0.866)と一致し、R@3(0.650 vs. 0.626)とR@5(0.804 vs. 0.790)に勝っている。
クロスエンコーダのリランカが加わったことで、R@5から0.822に上昇し、5つの言語(+0.017 スペイン語、+0.033 カタルーニャ語、+0.018 フランス語、+0.037 ポルトガル語)のうち4つに支配される。
ポルトガルはR@5 = 0.829、BioBERT-STは0.714に達する。
貢献: LLM生成データからドメイン固有の医療用レトリバーを構築するためのオープンなレシピ、学習利得の定量化(MRR 0.755から0.876、+15.9%と19,500の合成ペア)、言語とランクによる利得の集中度の特徴付け。
関連論文リスト
- Natural Language Code Retrieval for 1C:Enterprise: An Open Benchmark and Efficient Bi-Encoder [0.0]
実世界の3,413のPIIスクラブ型クエリコードペアのオープンベンチマークを提示する。
公開コードリポジトリから Google/gemma-4-26B-A4B-it によって生成される合成三重項 784,057 を微調整する。
論文 参考訳（メタデータ） (2026-08-20T12:24:53Z) - The Multilingual Curse at the Retrieval Layer: Evidence from Amharic [49.25758237235551]
マルチリンガルベンチマークの強いゼロショットスコアは、現在のエンコーダが多くの言語で確実に転送される証拠としてしばしば考えられている。
この仮定は、表現が不十分で形態学的にリッチな言語に当てはまると我々は主張する。
我々は,ゼロショット多言語レトリバー,アンハリック細調整多言語レトリバー,単言語多言語レトリバーを比較した。
論文 参考訳（メタデータ） (2026-05-23T12:44:30Z) - Multilingual Multi-Label Emotion Classification at Scale with Synthetic Data [2.3424047967193826]
我々は23言語にまたがる100万以上の多ラベルサンプルからなる大規模合成学習コーパスを構築した。
DistilBERT (135Mパラメータ) から XLM-R-Large (560Mパラメータ) までの6つの多言語トランスフォーマーエンコーダを訓練・比較する。
GoEmotions (英語) とSemEval-2018 Task 1 E-c (英語,アラビア語,スペイン語) を用いて, ゼロショットの全モデルを評価する。
論文 参考訳（メタデータ） (2026-04-14T12:04:17Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - TurkColBERT: A Benchmark of Dense and Late-Interaction Models for Turkish Information Retrieval [0.0]
我々は、トルコ検索のための高密度エンコーダと遅延相互作用モデルを比較した最初のベンチマークであるTurkColBERTを紹介する。
我々の2段階適応パイプラインは、トルコのNLI/STSタスクで英語と多言語エンコーダを微調整し、ColBERTスタイルのレトリバーに変換する。
我々は、科学的、経済的、議論的な領域をカバーする5つのトルコのBEIRデータセットの10モデルを評価した。
論文 参考訳（メタデータ） (2025-11-20T16:42:21Z) - Large Language Models as Medical Codes Selectors: a benchmark using the International Classification of Primary Care [4.633036227475212]
本研究では,ドメイン固有検索エンジンを用いてICPC-2符号を割り当てる大規模言語モデルの可能性を評価する。
ICPC-2コードでアノテートされたブラジルポルトガルの437の臨床的表現のデータセットが使用された。
論文 参考訳（メタデータ） (2025-07-19T16:11:10Z) - Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。
提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。
RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
論文 参考訳（メタデータ） (2025-05-25T23:06:20Z) - SCRum-9: Multilingual Stance Classification over Rumours on Social Media [15.412870757706473]
SCRum-9は、Xから7,516のツイートを含む9つの言語でRumour分析のための最大のデータセットである。
本稿では,多言語合成データを用いた姿勢分類手法を提案する。
SCRum-9は研究コミュニティに公開され、ソーシャルメディア上の誤解を招く物語の多言語分析のさらなる研究を促進する可能性がある。
論文 参考訳（メタデータ） (2025-05-25T00:50:43Z) - CLaCLab at SocialDisNER: Using Medical Gazetteers for Named-Entity
Recognition of Disease Mentions in Spanish Tweets [0.7918886297003019]
本稿では,SMM4H 2022タスク10のCLaC申請について要約する。
我々は,多言語RoBERTa Large,UMLS gatteer,disTEMIST gatteerといった機能を用いて,各トークンをトランスフォーマーエンコーダでエンコードする。
厳密なF1スコアは0.869で、競争平均は0.675、標準偏差は0.245、中央値は0.761である。
論文 参考訳（メタデータ） (2022-09-08T02:08:51Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。
本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。
我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
論文 参考訳（メタデータ） (2021-05-27T15:37:21Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。