論文の概要: Billiger.de Products: A Bilingual Entity Matching Benchmark
- arxiv url: http://arxiv.org/abs/2609.37713v2
- Date: Mon, 05 Oct 2026 10:43:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 04:43:28.435596
- Title: Billiger.de Products: A Bilingual Entity Matching Benchmark
- Title（参考訳）: Billiger.de製品 - バイリンガルエンティティマッチングベンチマーク
- Abstract要約: 本稿では,13の消費者製品カテゴリをカバーするバイリンガルなドイツ語と英語のエンティティマッチングベンチマークであるBilliger.de Productsを紹介する。
ベンチマークデータはドイツの価格比較プラットフォーム Billiger.de に由来する。
すべてのオファーの整列した英語翻訳では、すべてのペア、分割、ラベルが固定され、一方、クロスランゲージテストセットは、個々のペアでドイツ語と英語のレコードを合成する。
- 参考スコア（独自算出の注目度）: 2.681553164626998
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing product matching benchmarks primarily contain English-language product data and are often dominated by a single product category, such as electronics. This paper introduces Billiger.de Products, a bilingual German and English entity matching benchmark covering thirteen consumer product categories, including difficult-to-handle categories such as clothing and furniture. The benchmark data originates from the German price comparison platform billiger.de. Following the design of WDC Products, the benchmark offers multiple variants that differ in the fraction of corner cases, the size of the development set, and the fraction of entities unseen during training. An aligned English translation of every offer keeps all pairs, splits, and labels fixed, while cross-language test sets combine German and English records within individual pairs. We validate the benchmark using six supervised matchers and zero-shot GPT-5.2 on both language versions and the cross-language test sets. The validation shows the difficulty of the benchmark. The comparison of the results on the English version of the benchmark to the results on the German version shows that most matchers score on average higher on the English version. The difference is largest for RoBERTa and HierGAT, while the zero-shot LLM runs are largely insensitive to the language. Comparing the F1 scores achieved by PLM-based matchers on the English version of Billiger.de Products with their performance on existing English-language benchmarks, such as WDC Products and Abt-Buy, shows that Billiger.de Products is more difficult than these benchmarks.
- Abstract（参考訳）: 既存の製品マッチングベンチマークには、主に英語の製品データが含まれており、電子工学のような単一の製品カテゴリに支配されていることが多い。
本稿では,13の消費者製品カテゴリをカバーするバイリンガルなドイツ語と英語のエンティティマッチングベンチマークであるBilliger.de Productsを紹介する。
ベンチマークデータはドイツの価格比較プラットフォーム Billiger.de に由来する。
WDC製品の設計に続いて、ベンチマークでは、コーナーケースの数、開発セットのサイズ、トレーニング中に見つからないエンティティの数が異なる複数のバリエーションを提供している。
すべてのオファーの整列した英語翻訳では、すべてのペア、分割、ラベルが固定され、一方、クロスランゲージテストセットは、個々のペアでドイツ語と英語のレコードを合成する。
6つの教師付きマーカと0ショットGPT-5.2を用いて、言語バージョンと言語間テストセットの両方でベンチマークを検証した。
検証はベンチマークの難しさを示している。
英語版ベンチマークの結果とドイツ語版ベンチマークの結果を比較すると、ほとんどのマッカーは英語版の平均よりも高いスコアを示している。
RoBERTa と HierGAT では差が大きいが、ゼロショットの LLM の実行は言語に大きく依存しない。
英語版のBilliger.de ProductsとWDC ProductsやAbt-Buyといった既存の英語のベンチマークのパフォーマンスを比較すると、Billiger.de Productsはこれらのベンチマークよりも難しいことが分かる。
関連論文リスト
- IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - JOR-Bench: Japanese Operations Research Benchmarks for Large Language Models [16.295305195753723]
JOR-Benchは、大規模言語モデルの能力を評価するための5つの日本語言語ベンチマークのコレクションである。
JOR-Benchは、任意のプログラミング言語で使用可能な、ソルバに依存しないベンチマークである。
論文 参考訳（メタデータ） (2026-07-18T11:24:10Z) - Spanish and LLM Benchmarks: is MMLU Lost in Translation? [2.589791058467358]
本稿では,MMLU(Massive Multitask Language Understanding)ベンチマークについて考察する。
ベンチマークの選択されたカテゴリは、Azure TranslatorとChatGPT4を使用してスペイン語に変換され、ChatGPT4上で動作する。
結果は、失敗した項目のかなりの部分が、ベンチマークの翻訳の誤りによるものであることを示している。
論文 参考訳（メタデータ） (2024-05-28T11:13:40Z) - DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。
これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。
標準言語と非標準言語間の性能格差の相当な証拠を提供する。
論文 参考訳（メタデータ） (2024-03-16T20:18:36Z) - Predicting Text Preference Via Structured Comparative Reasoning [110.49560164568791]
我々は、構造化中間比較を生成することによって、テキストの嗜好を予測するプロンプト方式であるSCを導入する。
我々は、テキスト間の差異を明確に区別するためのペアワイズ整合コンパレータと一貫した比較を選択する。
要約,検索,自動評価など多種多様なNLPタスクに対する総合的な評価は,SCがテキスト優先予測における最先端性能を達成するためにLLMを装備していることを示す。
論文 参考訳（メタデータ） (2023-11-14T18:51:38Z) - Multilingual Transformers for Product Matching -- Experiments and a New
Benchmark in Polish [0.0]
本論文は, 事前学習された多言語トランスフォーマーモデルが, 微調整後の製品マッチング問題の解決に適していることを示す。
Web Data Commons を用いた多言語 mBERT と XLM-RoBERTa モデルを英語で検証した。
事前学習したモデルの有効性を比較できる新しいデータセットをポーランド語で作成しました。
論文 参考訳（メタデータ） (2022-05-31T12:00:05Z) - On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。
教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。
我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文 参考訳（メタデータ） (2021-12-21T08:10:27Z) - XL-WiC: A Multilingual Benchmark for Evaluating Semantic
Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。
我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。
実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2020-10-13T15:32:00Z) - Why Not Simply Translate? A First Swedish Evaluation Benchmark for
Semantic Similarity [3.6296396308298795]
本稿では,テキスト意味的類似性に関するスウェーデン初の評価ベンチマークを提案する。
ベンチマークは、Googleの機械翻訳APIを通じて、英語のSTS-Bデータセットを単純に実行することでコンパイルされる。
結果のデータセットに明らかな問題がいくつかあるが、このベンチマークを使用して、現在存在するスウェーデンのテキスト表現の大部分を比較している。
論文 参考訳（メタデータ） (2020-09-07T14:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。