論文の概要: Cost-Efficient Prompt Engineering for Unsupervised Entity Resolution
- arxiv url: http://arxiv.org/abs/2310.06174v2
- Date: Sat, 6 Apr 2024 22:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 04:28:07.308770
- Title: Cost-Efficient Prompt Engineering for Unsupervised Entity Resolution
- Title(参考訳): 教師なしエンティティ解決のためのコスト効率の良いプロンプトエンジニアリング
- Authors: Navapat Nananukul, Khanin Sisaengsuwanchai, Mayank Kejriwal,
- Abstract要約: エンティティ分解(ER)は、2つのエンティティが同じ基礎エンティティをいつ参照するかを半自動決定する問題である。
最近の大規模言語モデル(LLM)はERをよりシームレスでドメインに依存しないものにする機会を提供する。
比較的単純で費用効率のよいERプロンプトエンジニアリング手法を検討し、2つの実世界のデータセット上でERに適用する。
- 参考スコア(独自算出の注目度): 2.6080756513915824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Entity Resolution (ER) is the problem of semi-automatically determining when two entities refer to the same underlying entity, with applications ranging from healthcare to e-commerce. Traditional ER solutions required considerable manual expertise, including domain-specific feature engineering, as well as identification and curation of training data. Recently released large language models (LLMs) provide an opportunity to make ER more seamless and domain-independent. However, it is also well known that LLMs can pose risks, and that the quality of their outputs can depend on how prompts are engineered. Unfortunately, a systematic experimental study on the effects of different prompting methods for addressing unsupervised ER, using LLMs like ChatGPT, has been lacking thus far. This paper aims to address this gap by conducting such a study. We consider some relatively simple and cost-efficient ER prompt engineering methods and apply them to ER on two real-world datasets widely used in the community. We use an extensive set of experimental results to show that an LLM like GPT3.5 is viable for high-performing unsupervised ER, and interestingly, that more complicated and detailed (and hence, expensive) prompting methods do not necessarily outperform simpler approaches. We provide brief discussions on qualitative and error analysis, including a study of the inter-consistency of different prompting methods to determine whether they yield stable outputs. Finally, we consider some limitations of LLMs when applied to ER.
- Abstract(参考訳): エンティティ解決(ER)は、2つのエンティティが同じ基礎エンティティをいつ参照するかを半自動決定する問題である。
従来のERソリューションでは、ドメイン固有の機能エンジニアリングや、トレーニングデータの識別とキュレーションなど、かなりの手作業の専門知識が必要だった。
最近リリースされた大きな言語モデル(LLM)は、ERをよりシームレスでドメインに依存しないものにする機会を提供する。
しかし、LSMはリスクを生じさせる可能性があり、その出力の品質はプロンプトの作り方に依存することが知られている。
残念ながら、ChatGPTのようなLLMを用いて、教師なしERに対処するための異なるプロンプト法の効果に関する系統的研究は、これまで行われていない。
本稿では,このような研究を行うことで,このギャップに対処することを目的とする。
比較的単純で費用効率のよいERプロンプトエンジニアリング手法を検討し、コミュニティで広く使われている2つの実世界のデータセット上でERに適用する。
我々は、GPT3.5のようなLCMが高性能な教師なしERで実現可能であることを示すために、広範囲な実験結果を用いており、興味深いことに、より複雑で詳細な(従って高価である)プロンプト法は、必ずしもより単純なアプローチより優れているとは限らない。
定性的および誤り分析に関する簡単な議論を行い、安定な出力を得るかどうかを判断するために異なるプロンプト法間の整合性について検討する。
最後に,ER に適用した場合の LLM の制限について考察する。
関連論文リスト
- Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳(メタデータ) (2023-12-15T18:20:15Z) - Context Matters: Data-Efficient Augmentation of Large Language Models
for Scientific Applications [15.893290942177112]
GPT-4のような大規模言語モデル(LLM)に固有の課題について検討する。
一貫性と意味論的に厳密な方法で誤った回答を提示するLLMの能力は、事実の不正確さの検出を複雑にする。
本研究の目的は,このような誤りの理解と軽減を図り,LCMの精度と信頼性の向上に寄与することである。
論文 参考訳(メタデータ) (2023-12-12T08:43:20Z) - Cost-Effective In-Context Learning for Entity Resolution: A Design Space
Exploration [26.65259285701739]
本稿では,ERに対する費用対効果のあるバッチプロンプト手法の開発方法について,総合的研究を行う。
PLMに基づく手法と比較して,バッチプロンプトはERにとって非常に費用対効果が高いことが判明した。
また,マッチング精度と金銭的コストのバランスを効果的に整えるための包括的実証選択戦略も考案した。
論文 参考訳(メタデータ) (2023-12-07T02:09:27Z) - MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for
Multi-task Medical Applications [60.218266928939606]
我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。
MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。
実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-21T17:18:09Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Mastering the Task of Open Information Extraction with Large Language
Models and Consistent Reasoning Environment [52.592199835286394]
オープン情報抽出(OIE)は、自然文から客観的な構造化された知識を抽出することを目的としている。
大規模言語モデル(LLM)は、テキスト内学習能力に優れています。
論文 参考訳(メタデータ) (2023-10-16T17:11:42Z) - Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges [19.494006980465404]
時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。
患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
論文 参考訳(メタデータ) (2023-09-08T18:44:47Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。