論文の概要: On Leveraging Large Language Models for Enhancing Entity Resolution
- arxiv url: http://arxiv.org/abs/2401.03426v1
- Date: Sun, 7 Jan 2024 09:06:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:04:00.135442
- Title: On Leveraging Large Language Models for Enhancing Entity Resolution
- Title(参考訳): エンティティ解決のための大規模言語モデル活用について
- Authors: Huahang Li, Longyu Feng, Shuangyin Li, Fei Hao, Chen Jason Zhang,
Yuanfeng Song, Lei Chen
- Abstract要約: 本稿では,大規模言語モデル(LLM)を実体分解プロセスで効率的に活用するための戦略を紹介する。
当社のアプローチは、予算に制限された消費を維持しながら、最も効果的なマッチング質問を最適に選択します。
エントロピーを指標として提案手法の有効性を評価し,提案手法の有効性と有効性について実験的に検証した。
- 参考スコア(独自算出の注目度): 11.668263762236343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Entity resolution, the task of identifying and consolidating records that
pertain to the same real-world entity, plays a pivotal role in various sectors
such as e-commerce, healthcare, and law enforcement. The emergence of Large
Language Models (LLMs) like GPT-4 has introduced a new dimension to this task,
leveraging their advanced linguistic capabilities. This paper explores the
potential of LLMs in the entity resolution process, shedding light on both
their advantages and the computational complexities associated with large-scale
matching. We introduce strategies for the efficient utilization of LLMs,
including the selection of an optimal set of matching questions, namely MQsSP,
which is proved to be a NP-hard problem. Our approach optimally chooses the
most effective matching questions while keep consumption limited to your budget
. Additionally, we propose a method to adjust the distribution of possible
partitions after receiving responses from LLMs, with the goal of reducing the
uncertainty of entity resolution. We evaluate the effectiveness of our approach
using entropy as a metric, and our experimental results demonstrate the
efficiency and effectiveness of our proposed methods, offering promising
prospects for real-world applications.
- Abstract(参考訳): エンティティ・リゾリューション(Entity resolution)は、同じ現実世界のエンティティに関連するレコードを識別・統合するタスクであり、eコマース、ヘルスケア、法執行機関などの様々な分野において重要な役割を果たす。
GPT-4のような大規模言語モデル(LLM)の出現は、その高度な言語機能を活用して、このタスクに新たな次元を導入した。
本稿では,LLMの実体分解過程における可能性について検討し,その利点と大規模マッチングに伴う計算複雑性の両面に光を当てる。
本稿では,np-hard問題であることが判明した mqssp というマッチング質問の最適集合の選択を含む,llm の効率的な利用のための戦略を紹介する。
私たちのアプローチは、予算に限りなく消費を保ちながら、最も効果的なマッチング質問を最適に選択します。
さらに, LLMからの応答を受信したあとのパーティションの分布を調整する手法を提案し, 実体分解能の不確実性を低減することを目的とする。
我々は, エントロピーを指標とした手法の有効性を評価し, 提案手法の有効性と効果を実証し, 実世界の応用に有望な可能性を示した。
関連論文リスト
- From Large Language Models and Optimization to Decision Optimization
CoPilot: A Research Manifesto [2.4981381729038743]
我々は,大規模言語モデルと最適化の交点において,決定最適化CoPilot(DOCP)を作成するための研究を提案する。
DOCPは意思決定者を支援するために設計されたAIツールで、自然言語で対話してビジネスの問題を把握し、その後、対応する最適化モデルを定式化し、解決する。
a) LLMは、既にDOCPに関連する実質的な新しい能力を提供しており、b.主要な研究課題に対処する必要がある。
論文 参考訳(メタデータ) (2024-02-26T03:10:11Z) - Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - PhaseEvo: Towards Unified In-Context Prompt Optimization for Large
Language Models [9.362082187605356]
本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。
PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
論文 参考訳(メタデータ) (2024-02-17T17:47:10Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model
Collaboration [88.3753421239906]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-09-30T07:11:39Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z) - A Reinforcement Learning Approach for Scheduling Problems With Improved
Generalization Through Order Swapping [0.0]
JSSP は NP-hard COP のカテゴリに分類される。
近年,COPの解法にDRLを用いる研究が注目され,解の質や計算効率の面で有望な結果が示されている。
特に、制約されたジョブのディスパッチにおいてよく機能すると考えられるポリシ・グラディエントパラダイムを採用するPPOアルゴリズムを採用する。
論文 参考訳(メタデータ) (2023-02-27T16:45:04Z) - Greedy Modality Selection via Approximate Submodular Maximization [19.22947539760366]
マルチモーダル学習は、異質な情報ソースを融合することを目的としたマルチモーダルデータからの学習を検討する。
メモリ制約のため、利用可能なすべてのモダリティを活用することが常に可能であるとは限らない。
本研究では,ある計算制約の下で最も情報的かつ補完的なモダリティを効率的に選択することを目的としたモダリティ選択について検討する。
論文 参考訳(メタデータ) (2022-10-22T22:07:27Z) - Towards Deployment-Efficient Reinforcement Learning: Lower Bound and
Optimality [141.89413461337324]
展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である
本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
論文 参考訳(メタデータ) (2022-02-14T01:31:46Z) - Solving Large-Scale Multi-Objective Optimization via Probabilistic
Prediction Model [10.916384208006157]
効率的なLSMOPアルゴリズムは、巨大な検索空間から局所最適解を逃れる能力を持つべきである。
人口の多様性を維持することは、探索効率を向上させる効果的な方法の1つである。
LSMOP に取り組むために,トレンド予測モデルと LT-PPM と呼ばれる生成フィルタ戦略に基づく確率的予測モデルを提案する。
論文 参考訳(メタデータ) (2021-07-16T09:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。