論文の概要: Beyond Scale and Generation: Understanding Language Model-based Entity Matching
- arxiv url: http://arxiv.org/abs/2607.24688v1
- Date: Mon, 27 Jul 2026 17:29:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.522456
- Title: Beyond Scale and Generation: Understanding Language Model-based Entity Matching
- Title（参考訳）: スケールとジェネレーションを超えて:言語モデルに基づくエンティティマッチングを理解する
- Abstract要約: モデル変種がバイエンコーダにとって重要であることを示す。
生成型マーカは、クロスエンコーダを普遍的に上回るものではない。
大きなモデルはショートカット学習に大きく依存しています
- 参考スコア（独自算出の注目度）: 18.904187328683513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Entity matching identifies records that refer to the same real-world entity. Language models can be adapted to this task through bi-encoder, cross-encoder, and generative matcher architectures. However, prior studies often conflate matcher architecture with differences in model backbone, model variant(reflecting different pretraining objectives), and model size, making it difficult to isolate the sources of performance gains. We address this issue through a controlled factorial study spanning three matcher architectures, three model variants and three model sizes from the Qwen3 family, and nine datasets, totaling 1,215 fine-tuning runs. We also evaluate cross-dataset transferability and computational cost. Our results show that model variant is critical for bi-encoders: embedding-oriented variants provide stronger initialization and more favorable representation geometry predictive of downstream matching performance. Cross-encoders retain a consistent advantage over bi-encoders because they jointly encode record pairs rather than representing each record independently, although larger models partially narrow this gap. Generative matchers do not universally outperform cross-encoders. Instead, their advantages concentrate under distribution shift, including subtle unseen differences in record schemas and cross-dataset transfer. We further find that larger models rely more heavily on shortcut learning and therefore do not necessarily perform better. These findings clarify the factors underlying performance differences across matcher architectures and motivate future research and benchmark designs that better disentangle architectural choices from model-level factors while explicitly evaluating distribution shift and cross-dataset transferability. We release our experimental results, code, training scripts, and evaluation data at https://github.com/Jantory/llm-trained-matcher.
- Abstract（参考訳）: エンティティマッチングは、同じ現実世界のエンティティを参照するレコードを特定する。
言語モデルは、バイエンコーダ、クロスエンコーダ、生成型マーカアーキテクチャを通じて、このタスクに適応することができる。
しかしながら、先行研究では、モデルバックボーン、モデル変種(異なる事前訓練対象を反映する)、モデルサイズの違いによって、マッチラーアーキテクチャを分割することがしばしばあり、性能向上の源を分離することは困難である。
この問題は,3つのマッチングアーキテクチャ,3つのモデル変種,および3つのモデルサイズ,および9つのデータセットを対象とし,1,215の微調整を実行することによって解決される。
また、データセット間の転送性や計算コストも評価する。
組込み指向の変種はより強力な初期化とより好ましい表現幾何を提供し、下流のマッチング性能を予測する。
クロスエンコーダは、個々のレコードを独立して表現するのではなく、共同でレコードペアをエンコードするため、バイエンコーダよりも一貫した優位性を維持している。
生成型マーカは、クロスエンコーダを普遍的に上回るものではない。
その代わりに、レコードスキーマの微妙な違いやデータセット間の転送など、分散シフトに重点を置いている。
さらに、より大きなモデルはショートカット学習に大きく依存しているため、必ずしもパフォーマンスが良くないこともわかりました。
これらの結果から, マーカアーキテクチャ間の性能差の要因を明らかにするとともに, モデルレベルの要因からアーキテクチャ選択を分離し, 分散シフトとデータセット間転送性を明確に評価する, 将来の研究とベンチマーク設計のモチベーションを導いた。
実験結果、コード、トレーニングスクリプト、評価データはhttps://github.com/Jantory/llm-trained-matcher.comで公開しています。
関連論文リスト
- Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics [0.9867902290081937]
さまざまな弱いメトリクスからスコアを集約することで、要約の事実整合性を改善する自動トレーニングパイプラインを導入します。
提案手法では、スコアを好みにマッピングし、メトリクス間で高い不一致のケースをフィルタリングすることで、複雑な報酬形成を回避している。
実験では、初期エンコーダ・デコーダアーキテクチャから現代の大規模言語モデルまで、モデル間での一貫性のある事実性の向上が示されている。
論文 参考訳（メタデータ） (2026-05-26T10:55:03Z) - Differentiable Faithfulness Alignment for Cross-Model Circuit Transfer [73.0825876244911]
DFAは、より小さなソースモデルからより大きなターゲットモデルに回路情報を転送するフレームワークである。
Llama-3 と Qwen-2.5 の DFA を,実数検索,複数選択推論,算術の6つのタスクで評価した。
DFAは、単純なベースラインを一貫して上回り、いくつかの設定では、直接帰属に匹敵する、あるいは強い忠実さでターゲットモデル回路を回復する。
論文 参考訳（メタデータ） (2026-04-27T10:49:10Z) - Generative Data Transformation: From Mixed to Unified Data [57.84692191369066]
textscTaesarはtextbftarget-textbfal textbfregenerationのためのEmphdata中心のフレームワークである。
ドメイン間のコンテキストを対象のシーケンスにエンコードすることで、複雑な融合アーキテクチャを使わずに、標準的なモデルで複雑な依存関係を学習することができる。
論文 参考訳（メタデータ） (2026-02-26T08:30:09Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Pre-Trained Model Recommendation for Downstream Fine-tuning [22.343011779348682]
モデル選択は、市販の事前訓練されたモデルをランク付けし、新しいターゲットタスクに最も適したモデルを選択することを目的としている。
既存のモデル選択テクニックはスコープ内で制約されることが多く、モデルとタスク間の微妙な関係を見落としてしまう傾向があります。
我々は,多種多様な大規模モデルリポジトリを探索する実用的フレームワーク textbfFennec を提案する。
論文 参考訳（メタデータ） (2024-03-11T02:24:32Z) - Comparative Study on the Performance of Categorical Variable Encoders in
Classification and Regression Tasks [11.721062526796976]
本研究では,(1)入力に対するアフィン変換を暗黙的に実行するAITモデル,2)決定木に基づく木に基づくモデル,3)kNNなどの他のモデルに分類する。
理論的には、データから適切な重みを学習することで、他のエンコーダを模倣できるという意味で、ワンホットエンコーダがAITモデルにとって最良の選択であることを示す。
また、ターゲットエンコーダとその変種が木モデルに適したエンコーダである理由についても説明する。
論文 参考訳（メタデータ） (2024-01-18T02:21:53Z) - Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。
我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。
実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
論文 参考訳（メタデータ） (2023-06-09T06:02:01Z) - Knowledge-integrated AutoEncoder Model [7.347989843033034]
データをエンコードする最も強力な方法のひとつは、ニューラルネットワークのAutoEncoder(AE)アーキテクチャを使用することだ。
本稿では、外部知識源を学習プロセスに統合できるAEモデルを開発するための新しいアプローチを提案する。
提案モデルは3つの科学分野から得られた3つの大規模データセットを用いて評価する。
論文 参考訳（メタデータ） (2023-03-12T18:00:12Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳（メタデータ） (2022-09-15T15:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。