Fugu-MT 論文翻訳(概要): AnyMatch -- Efficient Zero-Shot Entity Matching with a Small Language Model

論文の概要: AnyMatch -- Efficient Zero-Shot Entity Matching with a Small Language Model

arxiv url: http://arxiv.org/abs/2409.04073v1
Date: Fri, 6 Sep 2024 07:29:01 GMT
ステータス: 処理完了
システム内更新日: 2024-09-09 16:36:07.796539
Title: AnyMatch -- Efficient Zero-Shot Entity Matching with a Small Language Model
Title（参考訳）: AnyMatch -- 小さな言語モデルとの効率的なゼロショットエンティティマッチング
Authors: Zeyu Zhang, Paul Groth, Iacer Calixto, Sebastian Schelter,
Abstract要約: ゼロショットエンティティマッチングの難解な設定に重点を置いています。我々は,伝達学習のセットアップで微調整された小さな言語モデルであるAnyMatchを提案する。 AnyMatchは、パラメータが小さいにもかかわらず、競争力のある予測品質を提供します。
参考スコア（独自算出の注目度）: 14.097520043673903
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Entity matching (EM) is the problem of determining whether two records refer to same real-world entity, which is crucial in data integration, e.g., for product catalogs or address databases. A major drawback of many EM approaches is their dependence on labelled examples. We thus focus on the challenging setting of zero-shot entity matching where no labelled examples are available for an unseen target dataset. Recently, large language models (LLMs) have shown promising results for zero-shot EM, but their low throughput and high deployment cost limit their applicability and scalability. We revisit the zero-shot EM problem with AnyMatch, a small language model fine-tuned in a transfer learning setup. We propose several novel data selection techniques to generate fine-tuning data for our model, e.g., by selecting difficult pairs to match via an AutoML filter, by generating additional attribute-level examples, and by controlling label imbalance in the data. We conduct an extensive evaluation of the prediction quality and deployment cost of our model, in a comparison to thirteen baselines on nine benchmark datasets. We find that AnyMatch provides competitive prediction quality despite its small parameter size: it achieves the second-highest F1 score overall, and outperforms several other approaches that employ models with hundreds of billions of parameters. Furthermore, our approach exhibits major cost benefits: the average prediction quality of AnyMatch is within 4.4% of the state-of-the-art method MatchGPT with the proprietary trillion-parameter model GPT-4, yet AnyMatch requires four orders of magnitude less parameters and incurs a 3,899 times lower inference cost (in dollars per 1,000 tokens).
Abstract（参考訳）: エンティティマッチング(EM)は、2つのレコードが同じ現実世界のエンティティを指すかどうかを決定する問題である。多くのEMアプローチの大きな欠点は、ラベル付き例に依存することである。したがって、ラベル付きサンプルが見えないターゲットデータセットで利用できないゼロショットエンティティマッチングの難しい設定に焦点を当てる。近年,大規模言語モデル (LLM) はゼロショットEMに対して有望な結果を示しているが,低スループットと高デプロイメントコストで適用性とスケーラビリティが制限されている。我々は、転送学習設定で微調整された小さな言語モデルであるAnyMatchでゼロショットEM問題を再検討する。本稿では,AutoMLフィルタを用いてマッチングする困難なペアを選択し,属性レベルの追加例を生成し,データ内のラベルの不均衡を制御することによって,モデルのための微調整データを生成する新しいデータ選択手法を提案する。我々は,9つのベンチマークデータセットにおいて,13のベースラインと比較して,予測品質と展開コストを広範囲に評価する。我々は、AnyMatchは、パラメータサイズが小さいにもかかわらず、競争力のある予測品質を提供しており、F1スコア全体では2番目に高く、数十億のパラメータを持つモデルを使用する他のアプローチよりも優れています。さらに、AnyMatchの予測品質は、プロプライエタリな1兆パラメータモデルGPT-4による最先端手法MatchGPTの4.4%以内であるが、AnyMatchではパラメータが桁違いに少なく、3,899倍の推論コスト(1000トークンあたりのドル)を必要とする。

関連論文リスト

Improving Model Evaluation using SMART Filtering of Benchmark Datasets [19.731378662304497]
本稿では,既存のベンチマークデータセットから高品質なサンプルのサブセットを選択する新しい手法を提案する。提案手法は3つのフィルタリング基準を適用し, (i) 簡単な例, (ii) データ汚染例, (iii) 互いに類似した例を除去する。 SMARTの3つの選択QAデータセットに対する有効性を示す。
論文参考訳（メタデータ） (2024-10-26T18:21:44Z)
Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
論文参考訳（メタデータ） (2024-10-24T20:04:15Z)
Target-Aware Language Modeling via Granular Data Sampling [25.957424920194914]
言語モデルの事前訓練は、一般的に幅広いユースケースをターゲットにし、多様なソースからのデータを取り込む。コスト効率が高く簡単なアプローチは、低次元のデータ特徴をサンプリングすることである。事前学習したモデルはRefinedWebの全データと同等に動作し、125Mから1.5Bまでのモデルサイズに対してランダムに選択されたサンプルより優れた性能を示す。
論文参考訳（メタデータ） (2024-09-23T04:52:17Z)
Designing Informative Metrics for Few-Shot Example Selection [14.961505860372492]
本稿では,複雑性に基づく逐次タギングタスクのプロンプト選択手法を提案する。このアプローチは、サンプルの選択専用のモデルのトレーニングを避ける。文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。
論文参考訳（メタデータ） (2024-03-06T17:11:38Z)
MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models [70.92847554971065]
MT-Evalは,マルチターン対話能力を評価するための総合的なベンチマークである。人間のLLM会話を解析することにより,インタラクションパターンを,再現,拡張,洗練,フォローアップの4つのタイプに分類する。 11個の有名なLCMを評価したところ、クローズドソースモデルは一般的にオープンソースモデルを上回るが、特定のタスクにおいて特定のオープンソースモデルの方がGPT-3.5-Turboを上回っていることがわかった。
論文参考訳（メタデータ） (2024-01-30T04:50:28Z)
ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [52.14681890859275]
電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
論文参考訳（メタデータ） (2023-10-19T07:39:00Z)
Exploring Small Language Models with Prompt-Learning Paradigm for Efficient Domain-Specific Text Classification [2.410463233396231]
小型言語モデル(SLM)は、ドメイン固有のタスクに対して、大幅なカスタマイズ性、適応性、コスト効率を提供する。プロンプトベースのモデル微調整が可能となる場合、T5ベースは220Mパラメータを持つ典型的なSLMであり、ラベル付きデータで約75%の精度が得られる。固定モデルを用いたゼロショット設定では、約154Bのパラメータを備えたGPT-3.5-turboが55.16%の精度を持つにもかかわらず、よく設計されたプロンプトのパワーが明らかになるという重要な観察結果が得られた。
論文参考訳（メタデータ） (2023-09-26T09:24:46Z)
AffineGlue: Joint Matching and Robust Estimation [74.04609046690913]
AffineGlue, 連立2視点特徴マッチングとロバストな推定法を提案する。 AffineGlueは、最小限のモデルを推定するために、1対多の対応から潜在的なマッチを選択する。ガイドマッチングはモデルと一致した一致を見つけるために使用され、1対1の一致の曖昧さに悩まされる。
論文参考訳（メタデータ） (2023-07-28T08:05:36Z)
Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
論文参考訳（メタデータ） (2023-05-26T00:18:33Z)
Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
弱監督タスクのための単純だが強力なラベル付けモデルを提案する。次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
論文参考訳（メタデータ） (2022-11-13T17:57:07Z)
ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient Zero-Shot Learning [97.2907428983142]
ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
論文参考訳（メタデータ） (2022-05-25T11:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。