論文の概要: Integrating Expert Labels into LLM-based Emission Goal Detection: Example Selection vs Automatic Prompt Design

• arxiv url: http://arxiv.org/abs/2412.06432v1
• Date: Mon, 09 Dec 2024 12:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:44.789255
• Title: Integrating Expert Labels into LLM-based Emission Goal Detection: Example Selection vs Automatic Prompt Design
• Title（参考訳）: LLMを用いたエミッションゴール検出に専門家ラベルを組み込む: サンプル選択と自動プロンプト設計
• Authors: Marco Wrzalik, Adrian Ulges, Anne Uersfeld, Florian Faust,
• Abstract要約: 我々は,企業報告にラベル付き例文の形で専門家のフィードバックを統合することの課題に焦点をあてる。 自動的なプロンプト最適化が優れたアプローチであることに気付きました。
• 参考スコア（独自算出の注目度）: 2.7073997400707563
• License:
• Abstract: We address the detection of emission reduction goals in corporate reports, an important task for monitoring companies' progress in addressing climate change. Specifically, we focus on the issue of integrating expert feedback in the form of labeled example passages into LLM-based pipelines, and compare the two strategies of (1) a dynamic selection of few-shot examples and (2) the automatic optimization of the prompt by the LLM itself. Our findings on a public dataset of 769 climate-related passages from real-world business reports indicate that automatic prompt optimization is the superior approach, while combining both methods provides only limited benefit. Qualitative results indicate that optimized prompts do indeed capture many intricacies of the targeted emission goal extraction task.
• Abstract（参考訳）: 我々は,企業報告における排出削減目標の検出に取り組み,気候変動対策における企業の進捗をモニタリングする重要な課題である。 具体的には,ラベル付きサンプルパスをLLMベースのパイプラインに組み込むという課題に焦点を合わせ,(1) 少数のサンプルの動的選択と(2) LLM自体によるプロンプトの自動最適化の2つの戦略を比較した。 実世界のビジネスレポートから得られた,769件の気候関連パスの公開データセットから,自動的なプロンプト最適化が優れた手法であることを示すとともに,両手法を組み合わせることで,限られたメリットしか得られないことがわかった。 定性的な結果は、最適化されたプロンプトが、実際に目標とする排出目標抽出タスクの多くの複雑さを捉えていることを示している。

関連論文リスト

• Leveraging LLMs for Dialogue Quality Measurement [27.046917937460798]
  大規模言語モデル(LLM)は、NLPタスク全体で堅牢なゼロショットと少数ショットの機能を提供する。 モデルサイズ,文脈内例,選択手法などの操作要因を考察し,CoT推論とラベル抽出手法について検討する。 この結果から,適切な微調整と十分な推論能力を有するLCMを自動対話評価に活用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-25T06:19:47Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• TRAD: Enhancing LLM Agents with Step-Wise Thought Retrieval and Aligned Decision [32.24857534147114]
  大規模言語モデル(LLM)エージェントは、Webナビゲーションやオンラインショッピングなど、さまざまなタスクのために構築されている。 本稿では,これらの問題に対処するための新しいフレームワーク(TRAD)を提案する。 TRADはThought Retrievalを実行し、思考マッチングによるステップレベルのデモ選択を実現する。 そして、TRADはAligned Decisionを導入し、検索したデモステップを、以前のステップまたはその後のステップで補完する。
  論文  参考訳（メタデータ） (2024-03-10T13:58:38Z)
• Cost-Effective In-Context Learning for Entity Resolution: A Design Space Exploration [26.65259285701739]
  本稿では,ERに対する費用対効果のあるバッチプロンプト手法の開発方法について,総合的研究を行う。 PLMに基づく手法と比較して,バッチプロンプトはERにとって非常に費用対効果が高いことが判明した。 また,マッチング精度と金銭的コストのバランスを効果的に整えるための包括的実証選択戦略も考案した。
  論文  参考訳（メタデータ） (2023-12-07T02:09:27Z)
• Empirical Study of Zero-Shot NER with ChatGPT [19.534329209433626]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて強力な能力を示した。 本研究はゼロショット情報抽出におけるLLM性能の探索に焦点をあてる。 記号的推論と算術的推論におけるLLMの顕著な推論能力に着想を得て, 代表的な推論手法をNERに適用する。
  論文  参考訳（メタデータ） (2023-10-16T03:40:03Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Proposal-Based Multiple Instance Learning for Weakly-Supervised Temporal Action Localization [98.66318678030491]
  微弱に監督された時間的行動ローカライゼーションは、トレーニング中にビデオレベルのカテゴリラベルのみを持つ未トリミングビデオのアクションをローカライズし、認識することを目的としている。 本稿では,提案手法をベースとしたP-MIL(Multiple Instance Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T02:48:04Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。