論文の概要: ExpertGenQA: Open-ended QA generation in Specialized Domains

• arxiv url: http://arxiv.org/abs/2503.02948v1
• Date: Tue, 04 Mar 2025 19:09:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:04.128711
• Title: ExpertGenQA: Open-ended QA generation in Specialized Domains
• Title（参考訳）: ExpertGenQA: 専門分野におけるオープンエンドQA世代
• Authors: Haz Sameen Shahgir, Chansong Lim, Jia Chen, Evangelos E. Papalexakis, Yue Dong,
• Abstract要約: ExpertGenQAは、いくつかのショット学習と構造化トピックとスタイル分類を組み合わせて、包括的なドメイン固有のQAペアを生成するプロトコルである。 ExpertGenQAは,9,4.4%のトピックカバレッジを維持しつつ,ベースライン数ショットアプローチの効率を2倍に向上することを示す。
• 参考スコア（独自算出の注目度）: 9.412082058055823
• License:
• Abstract: Generating high-quality question-answer pairs for specialized technical domains remains challenging, with existing approaches facing a tradeoff between leveraging expert examples and achieving topical diversity. We present ExpertGenQA, a protocol that combines few-shot learning with structured topic and style categorization to generate comprehensive domain-specific QA pairs. Using U.S. Federal Railroad Administration documents as a test bed, we demonstrate that ExpertGenQA achieves twice the efficiency of baseline few-shot approaches while maintaining $94.4\%$ topic coverage. Through systematic evaluation, we show that current LLM-based judges and reward models exhibit strong bias toward superficial writing styles rather than content quality. Our analysis using Bloom's Taxonomy reveals that ExpertGenQA better preserves the cognitive complexity distribution of expert-written questions compared to template-based approaches. When used to train retrieval models, our generated queries improve top-1 accuracy by $13.02\%$ over baseline performance, demonstrating their effectiveness for downstream applications in technical domains.
• Abstract（参考訳）: 専門技術ドメインのための高品質な質問応答ペアの生成は依然として困難であり、既存のアプローチでは、専門家の例を活用することとトピックの多様性を達成することのトレードオフに直面している。 本稿では,ドメイン固有のQAペアを包括的に生成するために,少数ショット学習と構造化トピックとスタイル分類を組み合わせたプロトコルであるExpertGenQAを提案する。 米国連邦鉄道管理局の文書をテストベッドとして使用し、ExpertGenQAが9,4\%のトピックカバレッジを維持しながら、ベースラインの少数ショットアプローチの効率を2倍に向上させることを示した。 体系的な評価により、現在のLCMに基づく審査員と報酬モデルが、コンテンツ品質よりも表面的な書体スタイルに強い偏見を示すことを示す。 Bloom's Taxonomyを用いて分析したところ、ExpertGenQAはテンプレートベースのアプローチと比較して、専門家が書いた質問の認知的複雑さの分布をよりよく保存することがわかった。 検索モデルのトレーニングに使用すると、生成したクエリはベースライン性能よりもトップ1の精度を13.02\%向上させ、技術領域におけるダウンストリームアプリケーションの有効性を実証する。

関連論文リスト

• Optimal Query Allocation in Extractive QA with LLMs: A Learning-to-Defer Framework with Theoretical Guarantees [3.4289478404209826]
  大規模言語モデルは生成タスクでは優れているが、構造化されたテキスト選択では非効率である。 本稿では,専門的な専門家にクエリを割り当て,信頼性の高い予測を確実にする学習者向けフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:21:00Z)
• A RAG Approach for Generating Competency Questions in Ontology Engineering [1.0044270899550196]
  LLM(Large Language Models)の出現により、このプロセスの自動化と強化が可能になった。 本稿では,LLMを用いてCQの自動生成を行うRAG(Research-augmented Generation)手法を提案する。 2つのドメインエンジニアリングタスクで GPT-4 を用いて実験を行い、ドメインの専門家が構築した地味な CQ と比較する。
  論文  参考訳（メタデータ） (2024-09-13T13:34:32Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
  ProxyQAは、長文生成を評価するための革新的なフレームワークである。 さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。 プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
  論文  参考訳（メタデータ） (2024-01-26T18:12:25Z)
• Fusing Models with Complementary Expertise [42.099743709292866]
  データ分布の相補的な知識で専門家モデルの出力を融合させるFoE(Fusion of Experts)問題を考える。 我々の方法は差別的タスクと生成的タスクの両方に当てはまる。 テスト時に専門家によるモデル評価の回数を減らすことが望まれる「フルーガル」設定にメソッドを拡張します。
  論文  参考訳（メタデータ） (2023-10-02T18:31:35Z)
• Performance Prediction for Multi-hop Questions [7.388002745070808]
  オープンドメイン型マルチホップ質問の性能を予測するための検索前手法であるmultHPを提案する。 評価の結果,提案モデルが従来のシングルホップQPPモデルよりも優れた性能を示すことが示唆された。
  論文  参考訳（メタデータ） (2023-08-12T01:34:41Z)
• Few-shot Unified Question Answering: Tuning Models or Prompts? [23.885286975673644]
  本稿では,低リソース環境下での統一QAのためのチューニング,モデル,プロンプトの2つのパラダイムの可能性について検討する。 この研究は、数ショットの環境で統合されたQAのための迅速なチューニングの利点と制限に関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-23T23:14:38Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering [57.94658176442027]
  KBQAのランク・アンド・ジェネレートアプローチであるRnG-KBQAを提案する。 我々はGrailQA と WebQSP データセット上で,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2021-09-17T17:58:28Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。