論文の概要: Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Models

• arxiv url: http://arxiv.org/abs/2509.05691v1
• Date: Sat, 06 Sep 2025 11:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.651621
• Title: Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Models
• Title（参考訳）: 栄養ギャップの解明 : テキスト埋め込みモデルの実証的研究
• Authors: Ningyuan Deng, Hanyu Duan, Yixuan Tang, Yi Yang,
• Abstract要約: 現在の埋め込みモデルが数値などの数値コンテンツを正確に埋め込みにエンコードできるかどうかは不明である。 埋め込みモデルは、金融や医療など、数値が重要な領域にますます適用されています。 筆者らは,広く使用されているテキスト埋め込みモデル13を評価した結果,数値的詳細を正確に捉えるのに苦慮していることがわかった。
• 参考スコア（独自算出の注目度）: 10.716102503535994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text embedding models are widely used in natural language processing applications. However, their capability is often benchmarked on tasks that do not require understanding nuanced numerical information in text. As a result, it remains unclear whether current embedding models can precisely encode numerical content, such as numbers, into embeddings. This question is critical because embedding models are increasingly applied in domains where numbers matter, such as finance and healthcare. For example, Company X's market share grew by 2\% should be interpreted very differently from Company X's market share grew by 20\%, even though both indicate growth in market share. This study aims to examine whether text embedding models can capture such nuances. Using synthetic data in a financial context, we evaluate 13 widely used text embedding models and find that they generally struggle to capture numerical details accurately. Our further analyses provide deeper insights into embedding numeracy, informing future research to strengthen embedding model-based NLP systems with improved capacity for handling numerical content.
• Abstract（参考訳）: テキスト埋め込みモデルは自然言語処理アプリケーションで広く使われている。 しかし、それらの能力は、テキスト内のニュアンス付き数値情報の理解を必要としないタスクでベンチマークされることが多い。 その結果、現在の埋め込みモデルが数値などの数値コンテンツを正確に埋め込みにエンコードできるかどうかは不明である。 この問題は、埋め込みモデルが金融や医療といった数字が重要となる領域にますます適用されているため、重要な問題である。 例えば、企業Xの市場シェアは2倍に増加したが、企業Xの市場シェアは、どちらも市場シェアの伸びを示しているにもかかわらず、20倍に成長した。 本研究の目的は,テキスト埋め込みモデルがそのようなニュアンスを捕捉できるかどうかを検討することである。 財務状況下での合成データを用いて,広く使用されているテキスト埋め込みモデル13を評価した結果,数値的詳細を正確に捉えるのに苦慮していることがわかった。 さらに, 数値コンテンツ処理能力の向上とともに, 組込みモデルベースNLPシステムを強化すべく, 組込み数値に関する深い知見を提供する。

関連論文リスト

• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• Does Multimodality Lead to Better Time Series Forecasting? [84.74978289870155]
  このようなマルチモーダル積分がどのような条件で常に得られるかは、まだ不明である。 本稿では,時系列とテキスト表現をアライメントするアライメント・ベース・メソッドと,予測のための大規模言語モデルを直接促進するプロンプト・ベース・メソッドの2つの一般的なマルチモーダル予測パラダイムを評価する。 その結果,1)高容量テキストモデル,(2)比較的弱い時系列モデル,(3)適切な整合戦略などにより,テキスト情報を組み込むことが最も有用であることが示唆された。
  論文  参考訳（メタデータ） (2025-06-20T23:55:56Z)
• Quantifying Qualitative Insights: Leveraging LLMs to Market Predict [0.0]
  本研究は、証券会社からの日々の報告を活用して高品質な文脈情報を作成することによる課題に対処する。 レポートはテキストベースのキーファクタにセグメント化され、価格情報などの数値データと組み合わせてコンテキストセットを形成する。 工芸的なプロンプトは重要な要素にスコアを割り当て、質的な洞察を定量的な結果に変換するように設計されている。
  論文  参考訳（メタデータ） (2024-11-13T07:45:40Z)
• Do We Need Domain-Specific Embedding Models? An Empirical Investigation [18.990655668481075]
  FinMTEB(Massive Text Embedding Benchmark)の略であるFinMTEB(Massive Text Embedding Benchmark)を紹介する。 我々は、FinMTEB上での7つの最先端埋め込みモデルの性能評価を行い、MTEB上でのパフォーマンスと比較して顕著な性能低下を観測した。 我々の分析は、最先端の埋め込みモデルがドメイン固有の言語的および意味的なパターンを捉えるのに苦労しているという説得力のある証拠を提供する。
  論文  参考訳（メタデータ） (2024-09-27T07:46:06Z)
• Numerical Literals in Link Prediction: A Critical Examination of Models and Datasets [2.5999037208435705]
  数値リテラルを組み込んだリンク予測モデルは、既存のベンチマークデータセットに対してわずかに改善されている。 モデルが数値リテラルを使用するのに実際に優れているのか、あるいはグラフ構造を利用するのに優れているのかは、不明である。 本稿では,数値リテラルを組み込んだLPモデルの評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T17:55:33Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Towards Robust Text Retrieval with Progressive Learning [31.81063977662941]
  テキスト検索のための埋め込み手法であるPEGを提案する。 トレーニング中の負のサンプルを80,000まで増やし,クエリ毎に5つのハードネガティブを抽出した。 PEGは1億以上のデータに基づいてトレーニングされており、幅広いドメインを含んでいる。
  論文  参考訳（メタデータ） (2023-11-20T11:44:01Z)
• Adapting Large Language Models to Domains via Reading Comprehension [86.24451681746676]
  ドメイン固有コーパスの事前学習が大規模言語モデルに与える影響について検討する。 生のコーパスでのトレーニングはドメイン知識でモデルを養うが、問合せ能力を大幅に損なう。 生コーパスを可読テキストに変換する簡単な方法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:17:52Z)
• Extractive Text Summarization Using Generalized Additive Models with Interactions for Sentence Selection [0.0]
  本研究は、言語的特徴と二項分類に基づく抽出的要約問題への2つの近代的一般化加法モデル、すなわち説明可能なブースティングマシンとGAMI-Netの適用について研究する。
  論文  参考訳（メタデータ） (2022-12-21T00:56:50Z)
• Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
  モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。 近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。 知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
  論文  参考訳（メタデータ） (2021-10-27T12:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。