論文の概要: DRS: Deep Question Reformulation With Structured Output

• arxiv url: http://arxiv.org/abs/2411.17993v4
• Date: Tue, 25 Mar 2025 05:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:50:26.703181
• Title: DRS: Deep Question Reformulation With Structured Output
• Title（参考訳）: DRS:構造化出力による深い質問改革
• Authors: Zhecheng Li, Yiwei Wang, Bryan Hooi, Yujun Cai, Nanyun Peng, Kai-Wei Chang,
• Abstract要約: 大規模言語モデル(LLM)は、解決不可能な質問を検知できるが、これらの質問の修正をユーザーが支援するのに苦労する。 DRS:Deep Question Reformulation with Structured Output, a novel zero-shot method for enhance to LLMs ability to help users in reformulation Question。 DRS は GPT-3.5 の改定精度を 23.03% から 70.42% に改善するとともに,Gemma2-9B などのオープンソースモデルの性能を 26.35% から 56.75% に向上させた。
• 参考スコア（独自算出の注目度）: 114.14122339938697
• License:
• Abstract: Question answering represents a core capability of large language models (LLMs). However, when individuals encounter unfamiliar knowledge in texts, they often formulate questions that the text itself cannot answer due to insufficient understanding of the underlying information. Recent studies reveal that while LLMs can detect unanswerable questions, they struggle to assist users in reformulating these questions. Even advanced models like GPT-3.5 demonstrate limited effectiveness in this regard. To address this limitation, we propose DRS: Deep Question Reformulation with Structured Output, a novel zero-shot method aimed at enhancing LLMs ability to assist users in reformulating questions to extract relevant information from new documents. DRS combines the strengths of LLMs with a DFS-based algorithm to iteratively explore potential entity combinations and constrain outputs using predefined entities. This structured approach significantly enhances the reformulation capabilities of LLMs. Comprehensive experimental evaluations demonstrate that DRS improves the reformulation accuracy of GPT-3.5 from 23.03% to 70.42%, while also enhancing the performance of open-source models, such as Gemma2-9B, from 26.35% to 56.75%.
• Abstract（参考訳）: 質問応答は、大きな言語モデル(LLM)のコア機能を表している。 しかし、個人がテキストで見慣れない知識に遭遇すると、基礎となる情報の理解が不十分なため、テキスト自体が答えられないという疑問を定式化することが多い。 近年の研究では、LLMは解決不可能な質問を検知できるが、ユーザーがこれらの質問を再構成するのを助けるのに苦労していることが明らかになっている。 GPT-3.5のような先進的なモデルでさえ、この点において限定的な効果を示した。 この制限に対処するため、我々は、新しい文書から関連情報を抽出する質問の修正を支援する新しいゼロショット手法であるDeep Question Reformulation with Structured Outputを提案する。 DRS は LLM の強みを DFS ベースのアルゴリズムと組み合わせて,事前定義されたエンティティを用いた潜在的エンティティ結合と制約出力を反復的に探索する。 この構造的アプローチはLLMの改質能力を著しく向上させる。 総合的な実験的評価により、DSSはGPT-3.5の改定精度を23.03%から70.42%に改善し、Gemma2-9Bのようなオープンソースのモデルの性能を26.35%から56.75%に向上させた。

関連論文リスト

• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
  Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。 これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。 オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
  論文  参考訳（メタデータ） (2024-11-25T06:48:38Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• RA-ISF: Learning to Answer and Understand from Retrieval Augmentation via Iterative Self-Feedback [19.28222902440827]
  大規模言語モデル(LLM)は多くのタスクにおいて例外的な性能を示すが、それでもパラメータに格納された知識に大きく依存している。 Retrieval-augmented Generation (RAG)メソッドは、外部知識を統合することでこの問題に対処する。 本稿では、反復的にタスクを分解し、3つのサブモジュールで処理し、モデルの問題解決能力を向上するフレームワークであるRetrieval Augmented Iterative Self-Feedback (RA-ISF)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:01:05Z)
• Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
  パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。 幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。 我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
  論文  参考訳（メタデータ） (2024-03-05T18:22:33Z)
• Enhancing Large Language Model Performance To Answer Questions and Extract Information More Accurately [2.1715455600756646]
  大きな言語モデル(LLM)は質問に対する応答を生成する。 それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。 これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
  論文  参考訳（メタデータ） (2024-01-27T00:18:07Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Rethinking with Retrieval: Faithful Large Language Model Inference [91.66406351103484]
  我々は検索(RR)で再考する新しいポストプロセッシング手法を提案する。 RRは、チェーン・オブ・シークレット・プロンプトから得られた推論ステップに基づいて、関連する外部知識を検索する。 複雑な3つの推論課題に対する GPT-3 を用いた広範囲な実験により RR の有効性を評価する。
  論文  参考訳（メタデータ） (2022-12-31T22:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。