論文の概要: Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion

• arxiv url: http://arxiv.org/abs/2508.10036v1
• Date: Sun, 10 Aug 2025 02:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.036239
• Title: Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion
• Title（参考訳）: イントロスペクティブ・コンフュージョンによる情報抽出のためのアクティブ・プロンプティング
• Authors: Dong Zhao, Yadong Wang, Xiang Chen, Chenxi Wang, Hongliang Dai, Chuanxing Geng, Shengzhong Zhang, Shaoyuan Li, Sheng-Jun Huang,
• Abstract要約: 大規模言語モデル(LLM)は、少数ショット情報抽出(IE)において顕著な可能性を示す 従来の選択戦略は、しばしば、モデル誤認の重要な原因を見落としているため、情報的なガイダンスの提供に失敗する。 本稿では,イントロスペクティブ・混乱(introspective confusion)という原則に導かれる新しいアクティブ・プロンプト・フレームワークであるActive Prompting for Information extract(APIE)を紹介する。
• 参考スコア（独自算出の注目度）: 41.79586757544166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) show remarkable potential for few-shot information extraction (IE), yet their performance is highly sensitive to the choice of in-context examples. Conventional selection strategies often fail to provide informative guidance, as they overlook a key source of model fallibility: confusion stemming not just from semantic content, but also from the generation of well-structured formats required by IE tasks. To address this, we introduce Active Prompting for Information Extraction (APIE), a novel active prompting framework guided by a principle we term introspective confusion. Our method empowers an LLM to assess its own confusion through a dual-component uncertainty metric that uniquely quantifies both Format Uncertainty (difficulty in generating correct syntax) and Content Uncertainty (inconsistency in extracted semantics). By ranking unlabeled data with this comprehensive score, our framework actively selects the most challenging and informative samples to serve as few-shot exemplars. Extensive experiments on four benchmarks show that our approach consistently outperforms strong baselines, yielding significant improvements in both extraction accuracy and robustness. Our work highlights the critical importance of a fine-grained, dual-level view of model uncertainty when it comes to building effective and reliable structured generation systems.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、少数ショット情報抽出 (IE) において顕著な可能性を示すが、その性能は、文脈内例の選択に非常に敏感である。 従来の選択戦略は、しばしば、意味的なコンテンツだけでなく、IEタスクが必要とする構造化されたフォーマットの生成から生じる混乱という、モデル誤認の主な原因を見落としているため、情報的なガイダンスを提供するのに失敗する。 そこで我々は,イントロスペクティブ・混乱(introspective confusion)という原則でガイドされた新しいアクティブ・プロンプト・フレームワークである,アクティブ・プロンプト・フォー・インフォメーション(APIE)を紹介した。 提案手法は,2成分不確実性尺度(Format Uncertainty)とコンテンツ不確実性(Content Uncertainty,抽出セマンティクスの不整合)を一意に定量化する。 この総合的なスコアでラベル付きデータをランク付けすることで、我々のフレームワークは、最も困難で情報に富んだサンプルを数点の例に含めるように積極的に選択する。 4つのベンチマークの大規模な実験により、我々のアプローチは強いベースラインを一貫して上回り、抽出精度とロバスト性の両方に大きな改善をもたらすことが示された。 我々の研究は、効果的で信頼性の高い構造生成システムを構築する上で、モデル不確実性に関する微細で二重レベルの視点が重要であることを強調している。

関連論文リスト

• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)
• Knowledge-Aware Iterative Retrieval for Multi-Agent Systems [0.0]
  本稿では,新しい大規模言語モデル (LLM) によるエージェントフレームワークを提案する。 動的に進化する知識を活用することで、クエリを反復的に洗練し、文脈的証拠をフィルタリングする。 提案システムは、更新されたコンテキストの競合的および協調的な共有をサポートする。
  論文  参考訳（メタデータ） (2025-03-17T15:27:02Z)
• DEUCE: Dual-diversity Enhancement and Uncertainty-awareness for Cold-start Active Learning [54.35107462768146]
  コールドスタートアクティブラーニング(CSAL)は、手動アノテーションのためのラベルなしデータセットから貴重なインスタンスを選択する。 既存のCSAL手法は、弱いクラスと強い代表例を見落とし、バイアス学習をもたらす。 本稿ではCSALのための新しい二変量拡張および不確実性認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:00:03Z)
• Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization [35.269343563526675]
  我々は,大規模言語モデルに忠実な世代と不誠実な世代を明確に区別するためのフレームワークであるRHIOを提案する。 RHIOは、検索ヘッドを選択的にマスキングすることで、現実的なモデル固有のエラーをシミュレートする不誠実なサンプルを最初に強化する。 これらのサンプルは共同トレーニングに組み込まれ、制御トークンに条件付けられた忠実なものから不誠実な出力を区別することができる。
  論文  参考訳（メタデータ） (2025-01-23T11:23:25Z)
• Explaining the Unexplained: Revealing Hidden Correlations for Better Interpretability [1.8274323268621635]
  Real Explainer(RealExp)は、Shapley値を個々の特徴と特徴相関の重要度に分解する、解釈可能性の手法である。 RealExpは、個々の特徴とそれらの相互作用を正確に定量化することで、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-12-02T10:50:50Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。