論文の概要: Improving Information Extraction with Learned Queries
- arxiv url: http://arxiv.org/abs/2608.31058v1
- Date: Mon, 31 Aug 2026 16:35:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.516748
- Title: Improving Information Extraction with Learned Queries
- Title（参考訳）: 学習クエリによる情報抽出の改善
- Abstract要約: 質問設計の改善だけで、18.6F1スコアポイント、すなわち、より大きな抽出モデルを使用するよりもパフォーマンスを向上させることを示す。
本稿では,抽出結果に対する質問を反復的に洗練するフィードバック駆動最適化手法であるLoQとFeedQを紹介する。
質問設計を第一級問題として扱うための情報抽出研究の広範なシフトを支援するために,12,820の最適化された質問のデータセットをリリースする。
- 参考スコア（独自算出の注目度）: 37.727982153771656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When information extraction fails, a natural instinct is to improve the model doing it: for example, by scaling it up or refining its reasoning. In this paper, we show that another part of the pipeline matters at least as much: the queries used to elicit this information. Across four clinical benchmarks and five LLMs, improving the question design alone raises performance by 18.6 F1-score points, i.e. more than using larger extraction models. To make such question design learnable, we introduce List of Questions (LoQ), which generates document-specific question sets, and FeedQ, a feedback-driven optimization method that iteratively refines questions against extraction outcomes. The resulting optimized questions can be used to train lightweight generators: with fine-tuning, 4B-parameter models match or outperform expert-derived baselines and substantially exceed the performance of much larger untuned models. We release a dataset of 12,820 optimized questions to support a broader shift in information extraction research toward treating question design as a first-class problem.
- Abstract（参考訳）: 情報抽出が失敗すると、自然な本能はモデルを改善することである。
本稿では,パイプラインの別の部分が,少なくともその情報を引き出すために使用されるクエリが重要であることを示す。
4つの臨床ベンチマークと5つのLSMで、質問設計の改善だけで18.6F1スコアポイント、すなわちより大きな抽出モデルを使用するよりもパフォーマンスを向上させる。
このような質問設計を学習可能にするために、文書固有の質問セットを生成する質問リスト(LoQ)と、抽出結果に対する質問を反復的に洗練するフィードバック駆動最適化手法であるFeedQを紹介する。
微調整の4Bパラメータモデルでは、専門家由来のベースラインと一致または性能が良く、はるかに大きな未調整モデルの性能をはるかに上回っている。
質問設計を第一級問題として扱うための情報抽出研究の広範なシフトを支援するために,12,820の最適化された質問のデータセットをリリースする。
関連論文リスト
- HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。
作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
論文 参考訳（メタデータ） (2025-11-24T03:13:45Z) - Finding Answers in Thought Matters: Revisiting Evaluation on Large Language Models with Reasoning [23.867629719024325]
本稿では,アンサー・リジェネレーション (Answer Regeneration) という基本フレームワークを提案する。
このメソッドは追加のモデル推論を使用し、プロンプト "Answer:" によってプレフィックスされた事前の入力と出力を提供する。
この抽出ルールに依存しないアプローチは、性能の向上と堅牢性の向上を示す。
論文 参考訳（メタデータ） (2025-10-16T15:09:22Z) - Exploring Instruction Data Quality for Explainable Image Quality Assessment [58.345719195248314]
説明可能なIQAのための指導調律データセットにおけるデータ品質の役割について検討する。
データセットのサブセットをランダムに選択することで、インストラクションチューニングデータセット全体のトレーニングよりも優れた結果が得られます。
本稿では,クラスタリング特徴抽出,クラスタクォータ割り当て,クラスタサンプリング戦略の3段階からなるクラスタリングに基づくデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-04T17:12:54Z) - Distilling a Small Utility-Based Passage Selector to Enhance Retrieval-Augmented Generation [110.610512800947]
Retrieval-augmented Generation (RAG)は、取得した情報を組み込むことで、大規模言語モデル(LLM)を強化する。
RAGでは、重要度は実用性に移行し、正確な回答を生成するためのパスの有用性を考慮している。
提案手法は、ランク付けよりもユーティリティベースの選択に重点を置いており、固定しきい値を必要とせずに、特定のクエリに合わせた動的通過選択を可能にする。
本実験は, 実用性に基づく選択により, RAGの柔軟性とコスト効率が向上し, 計算コストが大幅に低減され, 応答品質が向上することを示した。
論文 参考訳（メタデータ） (2025-07-25T09:32:29Z) - QA-prompting: Improving Summarization with Large Language Models using Question-Answering [0.8460698440162888]
言語モデル(LM)は自然言語処理に革命をもたらし、プロンプトやテキスト内学習を通じて高品質なテキスト生成を可能にした。
本稿では,質問応答を要約生成の中間段階として利用する要約の簡易なプロンプト手法であるQA-promptingを提案する。
提案手法はキー情報を抽出し,テキストのコンテキストを強化して位置バイアスを緩和し,タスク毎の単一LMコールにおける要約を改善する。
論文 参考訳（メタデータ） (2025-05-20T13:29:36Z) - OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。
本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
論文 参考訳（メタデータ） (2024-07-13T13:27:57Z) - Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。
私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。
その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
論文 参考訳（メタデータ） (2024-07-01T15:53:29Z) - Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。
データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
論文 参考訳（メタデータ） (2024-05-07T07:39:15Z) - Enhancing Large Language Model Performance To Answer Questions and
Extract Information More Accurately [2.1715455600756646]
大きな言語モデル(LLM)は質問に対する応答を生成する。
それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。
これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
論文 参考訳（メタデータ） (2024-01-27T00:18:07Z) - Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - Learning to Ask for Data-Efficient Event Argument Extraction [23.106166629659405]
イベント引数抽出(EAE)は、特定の引数の役割を発見するための情報抽出の重要なタスクである。
本研究では,EAEを質問ベースのクローズタスクとし,固定された離散トークンテンプレートの性能を実験的に解析する。
人間のアノテーションを使わずにEAEに最適化された質問テンプレートを学習できる新しいアプローチ「Learning to Ask」を提案する。
論文 参考訳（メタデータ） (2021-10-01T15:22:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。