論文の概要: Automatic Prompt Optimization for Knowledge Graph Construction: Insights from an Empirical Study

• arxiv url: http://arxiv.org/abs/2506.19773v1
• Date: Tue, 24 Jun 2025 16:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.724686
• Title: Automatic Prompt Optimization for Knowledge Graph Construction: Insights from an Empirical Study
• Title（参考訳）: 知識グラフ構築のための自動プロンプト最適化:実証的研究からの洞察
• Authors: Nandana Mihindukulasooriya, Niharika S. D'Souza, Faisal Chowdhury, Horst Samulowitz,
• Abstract要約: テキストからのトリプル(オブジェクト-リレーショナルオブジェクト)抽出は、KG構築の基本的な構成要素である。 NLPタスク(例えば自律生成)における最近の作業では、この課題に対処するために自動的なプロンプト最適化/エンジニアリングを使用している。 我々は、(a)プロンプト戦略、(b)プロンプト最適化とタスク実行に使用されるLLM、(c)スキーマにおける標準関係の数、(d)入力テキストの長さと多様性、(e)プロンプト最適化に使用されるメトリック、および(f)トレーニングとテストに使用されるデータセットを変更することで異なる設定を評価する。
• 参考スコア（独自算出の注目度）: 8.482898222291206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A KG represents a network of entities and illustrates relationships between them. KGs are used for various applications, including semantic search and discovery, reasoning, decision-making, natural language processing, machine learning, and recommendation systems. Triple (subject-relation-object) extraction from text is the fundamental building block of KG construction and has been widely studied, for example, in early benchmarks such as ACE 2002 to more recent ones, such as WebNLG 2020, REBEL and SynthIE. While the use of LLMs is explored for KG construction, handcrafting reasonable task-specific prompts for LLMs is a labour-intensive exercise and can be brittle due to subtle changes in the LLM models employed. Recent work in NLP tasks (e.g. autonomy generation) uses automatic prompt optimization/engineering to address this challenge by generating optimal or near-optimal task-specific prompts given input-output examples. This empirical study explores the application of automatic prompt optimization for the triple extraction task using experimental benchmarking. We evaluate different settings by changing (a) the prompting strategy, (b) the LLM being used for prompt optimization and task execution, (c) the number of canonical relations in the schema (schema complexity), (d) the length and diversity of input text, (e) the metric used to drive the prompt optimization, and (f) the dataset being used for training and testing. We evaluate three different automatic prompt optimizers, namely, DSPy, APE, and TextGrad and use two different triple extraction datasets, SynthIE and REBEL. Through rigorous empirical evaluation, our main contribution highlights that automatic prompt optimization techniques can generate reasonable prompts similar to humans for triple extraction. In turn, these optimized prompts achieve improved results, particularly with increasing schema complexity and text size.
• Abstract（参考訳）: KGはエンティティのネットワークを表し、それらの間の関係を説明する。 KGは、セマンティック検索や発見、推論、意思決定、自然言語処理、機械学習、レコメンデーションシステムなど、さまざまな用途に使用されている。 テキストからのトリプル(オブジェクト-リレーション-オブジェクト)抽出はKG構築の基本的な構成要素であり、例えばACE 2002のような初期のベンチマークや、WebNLG 2020、REBEL、SynthIEといった最近のベンチマークで広く研究されている。 LLMの使用は、KG構築のために検討されているが、LLMに適切なタスク固有のプロンプトを手作りすることは、労働集約的な運動であり、LLMモデルに微妙な変化があるため、脆くすることができる。 NLPタスク(例えば自律生成)における最近の研究は、与えられた入力出力例から最適またはほぼ最適タスク固有のプロンプトを生成することで、この課題に対処するために自動的なプロンプト最適化/エンジニアリングを使用している。 本研究は, 実験ベンチマークを用いた三重抽出作業に対する自動プロンプト最適化の適用について検討した。 異なる設定を変更によって評価する a) 衝動戦略, b) 迅速な最適化とタスク実行に使用されるLLM。 (c)スキーマにおける標準関係の数(スキーマ複雑性) (d)入力テキストの長さと多様性 e) 即時最適化を駆動する指標,及び f) トレーニングとテストに使用されているデータセット。 我々はDSPy, APE, TextGradという3つの異なる自動プロンプトオプティマイザを評価し、SynthIEとREBELという2つの異なるトリプル抽出データセットを使用する。 厳密な経験的評価を通じて、我々の主な貢献は、自動的なプロンプト最適化技術が3重抽出において人間に類似した合理的なプロンプトを生成できることである。 代わりに、これらの最適化されたプロンプトは、特にスキーマの複雑さとテキストサイズの増加によって、改善された結果を達成する。

関連論文リスト

• PromptPrism: A Linguistically-Inspired Taxonomy for Prompts [13.169345040931857]
  PromptPrismは言語にインスパイアされた分類であり、3つの階層レベルの素早い分析を可能にする。 3つのアプリケーションに適用することで,PromptPrismの実用性を示す。
  論文  参考訳（メタデータ） (2025-05-19T01:08:26Z)
• Self-Supervised Prompt Optimization [16.06653117043314]
  十分に設計されたプロンプトは、Large Language Model(LLM)推論能力の強化に不可欠である。 既存のプロンプト最適化手法は、地上の真実や人間による外部参照に大きく依存している。 本稿では,閉じたタスクとオープンなタスクの両方に効果的なプロンプトを発見する費用効率のよいフレームワークであるセルフ・スーパービジョン・プロンプト・最適化(SPO)を提案する。
  論文  参考訳（メタデータ） (2025-02-07T17:45:16Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Enhancing LLM-Based Text Classification in Political Science: Automatic Prompt Optimization and Dynamic Exemplar Selection for Few-Shot Learning [1.6967824074619953]
  大型言語モデル (LLMs) は、政治学におけるテキスト分類をかなり約束する。 本フレームワークは,自動プロンプト最適化,動的指数選択,コンセンサス機構を通じてLLM性能を向上させる。 オープンソースのPythonパッケージ(PoliPrompt)がGitHubで公開されている。
  論文  参考訳（メタデータ） (2024-09-02T21:05:31Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Automatic Prompt Selection for Large Language Models [22.73421169410049]
  本稿では,与えられた入力に対する最適プロンプトを,有限個の合成候補プロンプトから自動的に選択する効果的な手法を提案する。 本手法は,資源集約型トレーニングと推論の必要性を排除し,汎用性に即したバランスをとる。 GSM8K、MultiArithm、AQuAといったゼロショット質問回答データセット上での競合性能を示している。
  論文  参考訳（メタデータ） (2024-04-03T13:20:24Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。