Fugu-MT 論文翻訳(概要): On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach

論文の概要: On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach

arxiv url: http://arxiv.org/abs/2401.03426v2
Date: Thu, 12 Sep 2024 04:47:33 GMT
ステータス: 処理完了
システム内更新日: 2024-09-13 22:12:50.464389
Title: On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach
Title（参考訳）: エンティティ解像度向上のための大規模言語モデルの活用について:コスト効率のよいアプローチ
Authors: Huahang Li, Longyu Feng, Shuangyin Li, Fei Hao, Chen Jason Zhang, Yuanfeng Song,
Abstract要約: 本稿では,Large Language Models (LLMs) を用いた不確実性低減フレームワークを提案する。 LLMは、先進的な言語能力と、広範なデータサイエンスの専門知識を持たない人々に対して大きな利点をもたらす「従量制」モデルに便乗している。我々は,本手法が効率的かつ効果的であることを示し,実世界のタスクに有望な応用を提供する。
参考スコア（独自算出の注目度）: 7.996010840316654
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Entity resolution, the task of identifying and merging records that refer to the same real-world entity, is crucial in sectors like e-commerce, healthcare, and law enforcement. Large Language Models (LLMs) introduce an innovative approach to this task, capitalizing on their advanced linguistic capabilities and a ``pay-as-you-go'' model that provides significant advantages to those without extensive data science expertise. However, current LLMs are costly due to per-API request billing. Existing methods often either lack quality or become prohibitively expensive at scale. To address these problems, we propose an uncertainty reduction framework using LLMs to improve entity resolution results. We first initialize possible partitions of the entity cluster, refer to the same entity, and define the uncertainty of the result. Then, we reduce the uncertainty by selecting a few valuable matching questions for LLM verification. Upon receiving the answers, we update the probability distribution of the possible partitions. To further reduce costs, we design an efficient algorithm to judiciously select the most valuable matching pairs to query. Additionally, we create error-tolerant techniques to handle LLM mistakes and a dynamic adjustment method to reach truly correct partitions. Experimental results show that our method is efficient and effective, offering promising applications in real-world tasks.
Abstract（参考訳）: エンティティ解決(Entity resolution)は、同じ現実世界のエンティティを指すレコードを識別し、マージするタスクであり、eコマース、ヘルスケア、法執行機関といった分野において重要である。大規模言語モデル(LLM)はこのタスクに革新的なアプローチを導入し、先進的な言語能力と‘pay-as-you-go’モデルを活用する。しかし、現在のLLMはAPIごとの要求請求によってコストがかかる。既存の手法は、品質の欠如や、大規模に高価になることがしばしばある。これらの問題に対処するために,LLMを用いた不確実性低減フレームワークを提案する。まず、エンティティクラスタの可能なパーティションを初期化し、同じエンティティを参照し、結果の不確実性を定義します。次に,LLM検証に有効ないくつかの質問を選択することにより,不確実性を低減する。回答を受信すると、可能なパーティションの確率分布を更新する。コストをさらに削減するため、クエリに最も価値の高いマッチングペアを任意に選択する効率的なアルゴリズムを設計する。さらに,LLMの誤りに対処するエラー耐性技術と,真に正しいパーティションに到達するための動的調整手法を作成する。実験の結果,本手法は効率的かつ効果的であり,実世界のタスクに有望な応用を提供することがわかった。

関連論文リスト

Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。既存の評価は最終的な成功率にのみ依存する傾向がある。本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
論文参考訳（メタデータ） (2024-10-09T17:59:00Z)
EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文参考訳（メタデータ） (2024-10-05T05:21:48Z)
FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-08-15T16:45:16Z)
Efficient Sequential Decision Making with Large Language Models [19.083642464977224]
本稿では,大規模言語モデル(LLM)の成功を逐次意思決定に拡張することに焦点を当てる。既存の取り組みは、 (i) 意思決定のための再訓練または微調整 LLM または (ii) 事前訓練された LLM の設計プロンプトのいずれかである。本稿では,オンラインモデル選択アルゴリズムを活用してLLMエージェントを逐次意思決定に効率的に組み込む手法を提案する。
論文参考訳（メタデータ） (2024-06-17T22:13:22Z)
OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
論文参考訳（メタデータ） (2024-05-24T01:05:37Z)
SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
論文参考訳（メタデータ） (2024-03-11T17:45:47Z)
Cost-Effective In-Context Learning for Entity Resolution: A Design Space Exploration [26.65259285701739]
本稿では,ERに対する費用対効果のあるバッチプロンプト手法の開発方法について,総合的研究を行う。 PLMに基づく手法と比較して,バッチプロンプトはERにとって非常に費用対効果が高いことが判明した。また,マッチング精度と金銭的コストのバランスを効果的に整えるための包括的実証選択戦略も考案した。
論文参考訳（メタデータ） (2023-12-07T02:09:27Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。