論文の概要: Keeping Experts in the Loop: Expert-Guided Optimization for Clinical Data Classification using Large Language Models

• arxiv url: http://arxiv.org/abs/2412.02173v1
• Date: Tue, 03 Dec 2024 05:05:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:18.490301
• Title: Keeping Experts in the Loop: Expert-Guided Optimization for Clinical Data Classification using Large Language Models
• Title（参考訳）: 専門家をループに維持する:大規模言語モデルを用いた臨床データ分類のためのエキスパートガイドによる最適化
• Authors: Nader Karayanni, Aya Awwad, Chein-Lien Hsiao, Surish P Shanmugam,
• Abstract要約: StructEaseは、自動化と迅速なエンジニアリングにおける人間の専門知識の入力のギャップを埋める新しいフレームワークである。 このフレームワークの中核的な革新は、専門家のフィードバックによって大幅なパフォーマンス改善がもたらされる高価値ケースを識別する反復サンプリングアルゴリズムであるSmplEaseである。
• 参考スコア（独自算出の注目度）: 0.5249805590164902
• License:
• Abstract: Since the emergence of Large Language Models (LLMs), the challenge of effectively leveraging their potential in healthcare has taken center stage. A critical barrier to using LLMs for extracting insights from unstructured clinical notes lies in the prompt engineering process. Despite its pivotal role in determining task performance, a clear framework for prompt optimization remains absent. Current methods to address this gap take either a manual prompt refinement approach, where domain experts collaborate with prompt engineers to create an optimal prompt, which is time-intensive and difficult to scale, or through employing automatic prompt optimizing approaches, where the value of the input of domain experts is not fully realized. To address this, we propose StructEase, a novel framework that bridges the gap between automation and the input of human expertise in prompt engineering. A core innovation of the framework is SamplEase, an iterative sampling algorithm that identifies high-value cases where expert feedback drives significant performance improvements. This approach minimizes expert intervention, to effectively enhance classification outcomes. This targeted approach reduces labeling redundancy, mitigates human error, and enhances classification outcomes. We evaluated the performance of StructEase using a dataset of de-identified clinical narratives from the US National Electronic Injury Surveillance System (NEISS), demonstrating significant gains in classification performance compared to current methods. Our findings underscore the value of expert integration in LLM workflows, achieving notable improvements in F1 score while maintaining minimal expert effort. By combining transparency, flexibility, and scalability, StructEase sets the foundation for a framework to integrate expert input into LLM workflows in healthcare and beyond.
• Abstract（参考訳）: LLM(Large Language Models)の出現以来、医療におけるその潜在能力を効果的に活用することの課題が中心となっている。 構造化されていない臨床ノートから洞察を抽出するためにLLMを使用するための重要な障壁は、迅速なエンジニアリングプロセスにある。 タスクパフォーマンスの決定における重要な役割にもかかわらず、迅速な最適化のための明確なフレームワークはいまだに存在しない。 このギャップに対処する現在の方法は、手動のプロンプト改善アプローチ、ドメイン専門家がエンジニアに最適なプロンプトを作成するよう促すプロンプトの作成、あるいはドメイン専門家の入力の価値が完全には実現されていない自動プロンプト最適化アプローチの採用のいずれかである。 そこで本研究では,自動化と人的知識のインプットのギャップを埋める新しいフレームワークであるStructEaseを提案する。 このフレームワークの中核的な革新は、専門家のフィードバックによって大幅なパフォーマンス改善がもたらされる高価値ケースを識別する反復サンプリングアルゴリズムであるSmplEaseである。 このアプローチは専門家の介入を最小限に抑え、分類結果を効果的に強化する。 このアプローチは、ラベルの冗長性を低減し、ヒューマンエラーを軽減し、分類結果を高める。 本研究では,米国国立電子傷サーベイランスシステム(NEISS)の非同定型臨床物語のデータセットを用いてStructEaseの性能評価を行った。 LLMワークフローにおけるエキスパート統合の価値を強調し,F1スコアの顕著な向上と,最小限の専門家努力の維持を図った。 透明性、柔軟性、スケーラビリティを組み合わせることで、StructEaseは、医療などにおけるLLMワークフローに専門家の入力を統合するためのフレームワークの基礎を定めている。

関連論文リスト

• Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
  LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。 しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。 この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:07:06Z)
• Self Iterative Label Refinement via Robust Unlabeled Learning [9.936885864460896]
  大規模言語モデル(LLM)の自己抑制手法は、しばしば固有のバイアスと過剰な自信に悩まされる。 本稿では,LLM生成した擬似ラベルの分類処理を改善するために,Unlabeled-Unlabeled学習フレームワークを用いた反復的改良パイプラインを提案する。 我々のアプローチは、初期擬似ラベルを反復的に軽視し、洗練することにより、内部バイアスの悪影響を最小限の人的監督で軽減する。
  論文  参考訳（メタデータ） (2025-02-18T06:04:18Z)
• Framework for Progressive Knowledge Fusion in Large Language Models Through Structured Conceptual Redundancy Analysis [0.0]
  大規模モデルにおける潜在知識の組織化は、重なり合う表現に対処し、文脈的精度を最適化する際、ユニークな課題を生じさせる。 高度なクラスタリング技術と動的しきい値設定により,これらの冗長性を再構築するフレームワークが提案された。 評価の結果、メモリ効率が向上し、推論時間が短縮され、解釈可能性を高める潜在知識クラスタのアライメントが向上した。
  論文  参考訳（メタデータ） (2025-01-23T11:34:04Z)
• Direct Preference Optimization Using Sparse Feature-Level Constraints [47.15096507230884]
  特徴レベルの制約付き優先度最適化は、安定性を確保しつつアライメントプロセスを簡素化するために設計された新しい手法である。 提案手法は、訓練されたスパースオートエンコーダで活性化されるスパース機能と、逐次KL分散の品質を用いて効率を向上する。
  論文  参考訳（メタデータ） (2024-11-12T07:54:13Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization [60.00631098364391]
  PromptAgentは、エキスパートレベルのプロンプトを、専門家による手工芸品と同等の品質で作成する最適化手法である。 PromptAgentは人間のような試行錯誤の探索にインスパイアされ、専門家レベルの正確な洞察と詳細な指示を誘導する。 PromptAgentを3つの実践領域にまたがる12のタスクに適用する。
  論文  参考訳（メタデータ） (2023-10-25T07:47:01Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。