論文の概要: How does prompt engineering affect ChatGPT performance on unsupervised entity resolution?

• arxiv url: http://arxiv.org/abs/2310.06174v1
• Date: Mon, 9 Oct 2023 21:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 21:27:07.243681
• Title: How does prompt engineering affect ChatGPT performance on unsupervised entity resolution?
• Title（参考訳）: 教師なしエンティティ解決におけるプロンプトエンジニアリングはchatgptのパフォーマンスにどのように影響するか?
• Authors: Khanin Sisaengsuwanchai, Navapat Nananukul, Mayank Kejriwal
• Abstract要約: 本稿では,エンティティ・レゾリューション(ER)に対処する異なるプロンプト法の効果について検討する。 結果から,ERの品質には大きな影響を与えるが,他の指標よりも大きな影響があり,データセットに依存する場合もあることがわかった。
• 参考スコア（独自算出の注目度）: 2.9312156642007294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity Resolution (ER) is the problem of semi-automatically determining when two entities refer to the same underlying entity, with applications ranging from healthcare to e-commerce. Traditional ER solutions required considerable manual expertise, including feature engineering, as well as identification and curation of training data. In many instances, such techniques are highly dependent on the domain. With recent advent in large language models (LLMs), there is an opportunity to make ER much more seamless and domain-independent. However, it is also well known that LLMs can pose risks, and that the quality of their outputs can depend on so-called prompt engineering. Unfortunately, a systematic experimental study on the effects of different prompting methods for addressing ER, using LLMs like ChatGPT, has been lacking thus far. This paper aims to address this gap by conducting such a study. Although preliminary in nature, our results show that prompting can significantly affect the quality of ER, although it affects some metrics more than others, and can also be dataset dependent.
• Abstract（参考訳）: エンティティ解決(ER)は、2つのエンティティが同じ基礎エンティティをいつ参照するかを半自動決定する問題である。 従来のERソリューションでは、機能エンジニアリングやトレーニングデータの識別とキュレーションなど、かなりの手作業の専門知識が必要だった。 多くの場合、そのような手法はドメインに依存している。 最近の大規模言語モデル(LLM)の出現により、ERをよりシームレスでドメインに依存しないものにする機会がある。 しかし、LSMはリスクを生じさせる可能性があり、その出力の品質はいわゆるプロンプトエンジニアリングに依存していることも知られている。 残念なことに、ChatGPTのようなLLMを用いてERに対処するための異なるプロンプト法の効果に関する系統的研究は、これまで行われていない。 本稿は,このような研究を通じて,このギャップに対処することを目的としている。 予備的ではあるが,提案手法はerの品質に大きく影響するが,他の指標よりも影響が大きいため,データセットにも依存する可能性がある。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Prompt Recursive Search: A Living Framework with Adaptive Growth in LLM Auto-Prompting [22.025533583703126]
  大規模言語モデル(LLM)のためのPRS(Prompt Recursive Search)フレームワークを提案する。 PRSフレームワークは、問題複雑性と調整可能な構造の評価を取り入れ、エラーの可能性の低減を確実にする。 The Chain of Thought(CoT)法と比較して, PRS法は, Llama3-7Bモデルを用いてBBHデータセットの精度を8%向上し, 22%の改善を実現した。
  論文  参考訳（メタデータ） (2024-08-02T17:59:42Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach [7.996010840316654]
  本稿では,Large Language Models (LLMs) を用いた不確実性低減フレームワークを提案する。 LLMは、先進的な言語能力と、広範なデータサイエンスの専門知識を持たない人々に対して大きな利点をもたらす「従量制」モデルに便乗している。 我々は,本手法が効率的かつ効果的であることを示し,実世界のタスクに有望な応用を提供する。
  論文  参考訳（メタデータ） (2024-01-07T09:06:58Z)
• ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
  外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。 エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。 引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-12-15T18:20:15Z)
• Cost-Effective In-Context Learning for Entity Resolution: A Design Space Exploration [26.65259285701739]
  本稿では,ERに対する費用対効果のあるバッチプロンプト手法の開発方法について,総合的研究を行う。 PLMに基づく手法と比較して,バッチプロンプトはERにとって非常に費用対効果が高いことが判明した。 また,マッチング精度と金銭的コストのバランスを効果的に整えるための包括的実証選択戦略も考案した。
  論文  参考訳（メタデータ） (2023-12-07T02:09:27Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。