論文の概要: TWICE: What Advantages Can Low-Resource Domain-Specific Embedding Model Bring? - A Case Study on Korea Financial Texts

• arxiv url: http://arxiv.org/abs/2502.07131v1
• Date: Mon, 10 Feb 2025 23:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:07:16.732411
• Title: TWICE: What Advantages Can Low-Resource Domain-Specific Embedding Model Bring? - A Case Study on Korea Financial Texts
• Title（参考訳）: TWICE:低リソースドメイン特化埋め込みモデルがもたらすアドバンテージは何か?-韓国の財務文書を事例として
• Authors: Yewon Hwang, Sungbum Jung, Hanwool Lee, Sara Yu,
• Abstract要約: FinMTEBのような既存のベンチマークは、主に高リソース言語向けに設計されている。 韓国金融ドメインの新しいベンチマークであるKorFinMTEBを紹介する。 実験結果から,FinMTEBの翻訳版ではモデルが頑健に動作する一方で,KorFinMTEB上での性能は微妙に重要な相違点を明らかにした。
• 参考スコア（独自算出の注目度）: 0.8624680612413766
• License:
• Abstract: Domain specificity of embedding models is critical for effective performance. However, existing benchmarks, such as FinMTEB, are primarily designed for high-resource languages, leaving low-resource settings, such as Korean, under-explored. Directly translating established English benchmarks often fails to capture the linguistic and cultural nuances present in low-resource domains. In this paper, titled TWICE: What Advantages Can Low-Resource Domain-Specific Embedding Models Bring? A Case Study on Korea Financial Texts, we introduce KorFinMTEB, a novel benchmark for the Korean financial domain, specifically tailored to reflect its unique cultural characteristics in low-resource languages. Our experimental results reveal that while the models perform robustly on a translated version of FinMTEB, their performance on KorFinMTEB uncovers subtle yet critical discrepancies, especially in tasks requiring deeper semantic understanding, that underscore the limitations of direct translation. This discrepancy highlights the necessity of benchmarks that incorporate language-specific idiosyncrasies and cultural nuances. The insights from our study advocate for the development of domain-specific evaluation frameworks that can more accurately assess and drive the progress of embedding models in low-resource settings.
• Abstract（参考訳）: 埋め込みモデルのドメイン特異性は、効果的なパフォーマンスに不可欠である。 しかし、FinMTEBのような既存のベンチマークは、主に高リソース言語向けに設計されており、韓国語のような低リソース設定は未調査のままである。 確立された英語のベンチマークを直接翻訳することは、低リソース領域に存在する言語的・文化的ニュアンスを捉えるのに失敗することが多い。 TWICE: What Advantages Can Low-Resource Domain-Specific Embedding Models Brings? 韓国金融文献のケーススタディとして,韓国金融ドメインの新しいベンチマークであるKorFinMTEBを紹介する。 実験の結果,FinMTEBの翻訳版ではモデルが頑健に動作しているのに対し,KorFinMTEBでは,特に深い意味理解を必要とするタスクにおいて,直接翻訳の限界を浮き彫りにしていることがわかった。 この違いは、言語固有の慣用性や文化的ニュアンスを含むベンチマークの必要性を強調している。 本研究から得られた知見は,低リソース環境における組込みモデルの進展をより正確に評価し,促進することのできる,ドメイン固有の評価フレームワークの開発を提唱するものである。

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• Reference-less Analysis of Context Specificity in Translation with Personalised Language Models [3.527589066359829]
  本研究は、リッチキャラクタとフィルムアノテーションがいかにパーソナライズ言語モデル(LM)に活用できるかを考察する。 非文脈モデルと比較して、難易度を最大6.5%削減するために、リッチな文脈情報を活用するLMを構築している。 我々の領域における専門翻訳の文脈特化度は、文脈機械翻訳モデルによりよりよく保存できることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:19:23Z)
• Crowdsourced Phrase-Based Tokenization for Low-Resourced Neural Machine Translation: The Case of Fon Language [0.015863809575305417]
  人間関係のスーパーワードトークン化戦略であるWord-Expressions-Based(WEB)トークン化について紹介します。 トークン化戦略を、Fon- French と French-Fon の翻訳タスクで比較する。
  論文  参考訳（メタデータ） (2021-03-14T22:12:14Z)
• Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages [48.28540903568198]
  マルチリンガル性は低リソース環境において教師なしシステムの実現に不可欠であることを示す。 我々は,5つの低リソース言語(グジャラート語,カザフ語,ネパール語,シンハラ語,トルコ語)について,英語方向と英語方向の単一モデルを提案する。 我々は、これらの言語の現在最先端の教師なしベースラインを全て上回り、最大14.4BLEUのゲインを得る。
  論文  参考訳（メタデータ） (2020-09-23T15:07:33Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。