論文の概要: How does prompt engineering affect ChatGPT performance on unsupervised
entity resolution?
- arxiv url: http://arxiv.org/abs/2310.06174v1
- Date: Mon, 9 Oct 2023 21:57:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 21:27:07.243681
- Title: How does prompt engineering affect ChatGPT performance on unsupervised
entity resolution?
- Title(参考訳): 教師なしエンティティ解決におけるプロンプトエンジニアリングはchatgptのパフォーマンスにどのように影響するか?
- Authors: Khanin Sisaengsuwanchai, Navapat Nananukul, Mayank Kejriwal
- Abstract要約: 本稿では,エンティティ・レゾリューション(ER)に対処する異なるプロンプト法の効果について検討する。
結果から,ERの品質には大きな影響を与えるが,他の指標よりも大きな影響があり,データセットに依存する場合もあることがわかった。
- 参考スコア(独自算出の注目度): 2.9312156642007294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Entity Resolution (ER) is the problem of semi-automatically determining when
two entities refer to the same underlying entity, with applications ranging
from healthcare to e-commerce. Traditional ER solutions required considerable
manual expertise, including feature engineering, as well as identification and
curation of training data. In many instances, such techniques are highly
dependent on the domain. With recent advent in large language models (LLMs),
there is an opportunity to make ER much more seamless and domain-independent.
However, it is also well known that LLMs can pose risks, and that the quality
of their outputs can depend on so-called prompt engineering. Unfortunately, a
systematic experimental study on the effects of different prompting methods for
addressing ER, using LLMs like ChatGPT, has been lacking thus far. This paper
aims to address this gap by conducting such a study. Although preliminary in
nature, our results show that prompting can significantly affect the quality of
ER, although it affects some metrics more than others, and can also be dataset
dependent.
- Abstract(参考訳): エンティティ解決(ER)は、2つのエンティティが同じ基礎エンティティをいつ参照するかを半自動決定する問題である。
従来のERソリューションでは、機能エンジニアリングやトレーニングデータの識別とキュレーションなど、かなりの手作業の専門知識が必要だった。
多くの場合、そのような手法はドメインに依存している。
最近の大規模言語モデル(LLM)の出現により、ERをよりシームレスでドメインに依存しないものにする機会がある。
しかし、LSMはリスクを生じさせる可能性があり、その出力の品質はいわゆるプロンプトエンジニアリングに依存していることも知られている。
残念なことに、ChatGPTのようなLLMを用いてERに対処するための異なるプロンプト法の効果に関する系統的研究は、これまで行われていない。
本稿は,このような研究を通じて,このギャップに対処することを目的としている。
予備的ではあるが,提案手法はerの品質に大きく影響するが,他の指標よりも影響が大きいため,データセットにも依存する可能性がある。
関連論文リスト
- A Closer Look at the Limitations of Instruction Tuning [54.565210478164104]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。
また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。
この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
論文 参考訳(メタデータ) (2024-02-03T04:45:25Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳(メタデータ) (2023-12-15T18:20:15Z) - Context Matters: Data-Efficient Augmentation of Large Language Models
for Scientific Applications [15.893290942177112]
GPT-4のような大規模言語モデル(LLM)に固有の課題について検討する。
一貫性と意味論的に厳密な方法で誤った回答を提示するLLMの能力は、事実の不正確さの検出を複雑にする。
本研究の目的は,このような誤りの理解と軽減を図り,LCMの精度と信頼性の向上に寄与することである。
論文 参考訳(メタデータ) (2023-12-12T08:43:20Z) - Revisiting the Knowledge Injection Frameworks [22.029379919125073]
近年、LLMは世界中で大きな影響を与えている。
外部知識を活用して、これらのLLMを垂直領域固有のタスクにどのように適合させるかは、まだ完全には解決されていない。
我々は,LLMに注入される外部知識基盤の刈り取りと浄化をイデオロギー的に重視する手法を提案する。
論文 参考訳(メタデータ) (2023-11-02T11:18:16Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - rWISDM: Repaired WISDM, a Public Dataset for Human Activity Recognition [0.0]
HAR(Human Activity Recognition)は、医療、運動競技、スマートシティ、スマートホームといった様々な分野に応用されているため、近年の科学的研究において注目されている。
本稿では,他の研究者が公開データセットに類似した問題を同定し,修正する手法を提案する。
論文 参考訳(メタデータ) (2023-05-17T13:55:50Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - Implementing Active Learning in Cybersecurity: Detecting Anomalies in
Redacted Emails [10.303697869042283]
本研究は,電子メールの異常検出に対するアクティブラーニングの適用に関する研究成果について述べる。
我々は、異なるAL戦略とそれらがモデル性能に与える影響を評価する。
論文 参考訳(メタデータ) (2023-03-01T23:53:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。