論文の概要: A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2610.28686v1
- Date: Mon, 19 Oct 2026 22:33:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.100931
- Title: A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation
- Title(参考訳): 小さなモデルにより改善: 検索拡張生成のための微調整クエリの明確化
- Abstract要約: 先行するダイアログのコンテキストにおいて、ユーザクエリが不整形であるかあいまいであるかのどちらかであるような、マルチターンの接頭型会話シナリオを考察する。
このタスクは、両方のケースを認識し、ユーザに対して適切な明確化要求を生成する。
約3900のサンプルからなる新しいデータセットであるClariEdgeを提示し、そのようなあいまいなクエリと、明確化を必要としないネガティブな例を含む。
- 参考スコア(独自算出の注目度): 6.482246937834006
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Query clarification is essential for retrieval-augmented generation (RAG) systems that face ambiguous user queries. We consider multi-turn grounded conversational scenarios where a user query is either ill-formed or ambiguous in the context of the prior dialog or, more interestingly, it may be well-formed but when posed against retrieved documents there are multiple relevant interpretations. The task is to recognize both such cases and then generate an appropriate clarification request to the user. We present ClariEdge, a new dataset of approximately 3,900 examples that include such ambiguous queries along with negative examples that do not require clarification. We also show that a lightweight fine-tuned LoRA achieves 96.6% classification accuracy and outperforms prompted baselines of many larger models on both classification and quality of clarification generation. Our study shows that hard negatives are an essential ingredient to separate out queries that are truly ambiguous from queries that may look ambiguous but are not (i.e., can be resolved from the context). The same LoRA achieves high performance in both pre-retrieval and post-retrieval scenarios; thus, it can be used in two places in a RAG pipeline as a check before answer generation. The ClariEdge dataset is available at https://huggingface.co/datasets/ibm-research/ClariEdge.
- Abstract(参考訳): クエリの明確化は、あいまいなユーザクエリに直面する検索拡張生成(RAG)システムに不可欠である。
ユーザクエリが前のダイアログのコンテキストで不適切か曖昧であるか,あるいはより興味深いことに,検索されたドキュメントに対してポーズをとれば,複数の関連する解釈が存在する,という,マルチターンの接頭型会話シナリオを考察する。
このタスクは、両方のケースを認識し、ユーザに対して適切な明確化要求を生成する。
約3900のサンプルからなる新しいデータセットであるClariEdgeを提示し、そのようなあいまいなクエリと、明確化を必要としないネガティブな例を含む。
また,軽量な微調整 LoRA が96.6% の分類精度を実現し,性能が向上し,分類と品質の両面から多くの大規模モデルのベースラインが導かれることを示した。
本研究は,不明瞭に見えるが不明瞭でないクエリから真にあいまいなクエリを分離するためには,難解な負が不可欠であることを示す(文脈から解決できる)。
同じLoRAは、検索前のシナリオと検索後のシナリオの両方で高いパフォーマンスを実現しているため、回答生成前のチェックとして、RAGパイプラインの2箇所で使用することができる。
ClariEdgeデータセットはhttps://huggingface.co/datasets/ibm-research/ClariEdgeで公開されている。
関連論文リスト
- TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。
これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。
単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
論文 参考訳(メタデータ) (2026-04-30T16:22:51Z) - Query Suggestion for Retrieval-Augmented Generation via Dynamic In-Context Learning [42.850404278428954]
我々は、関連するユーザクエリからサンプルを検索する頑健な動的数ショット学習を導入する。
本研究では,例えば事前のユーザクエリでは自己学習が可能であり,実際に容易に適用可能であることを示す。
論文 参考訳(メタデータ) (2026-01-13T00:56:38Z) - Structured RAG for Answering Aggregative Questions [26.336930378574518]
本稿では,S-RAGを提案する。
摂取時には、S-RAGはコーパスの構造表現を構成する。
推論時には、自然言語のクエリを、その表現上の形式的なクエリに変換する。
論文 参考訳(メタデータ) (2025-11-11T17:39:34Z) - Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries [85.81295563405433]
本稿では,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中にそれを提供するプロトコルを提案する。
その結果,1) 評価から得られた結論の変更,2) モデルペア間のベンチマークランキングの反転,2) スタイルのような表面レベルの基準に基づいて判断を下すナッジ評価,3) 多様なコンテキスト間でのモデル行動に関する新たな洞察の提供,などが確認できた。
論文 参考訳(メタデータ) (2024-11-11T18:58:38Z) - Sufficient Context: A New Lens on Retrieval Augmented Generation Systems [19.238772793096473]
LLMをコンテキストで拡張すると、多くのアプリケーションのパフォーマンスが向上する。
我々は、クエリに答える十分な情報を持つインスタンスを分類すると共に、十分なコンテキストという新しい概念を開発する。
文脈充足度に基づく誤りの階層化により,コンテキストが十分であれば,より高いベースライン性能を持つ大規模モデルの方がクエリの応答に優れることがわかった。
論文 参考訳(メタデータ) (2024-11-09T02:13:14Z) - ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。
本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
論文 参考訳(メタデータ) (2024-10-18T16:11:29Z) - Query Understanding via Intent Description Generation [75.64800976586771]
問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。
クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。
Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
論文 参考訳(メタデータ) (2020-08-25T08:56:40Z) - Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。
我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
論文 参考訳(メタデータ) (2020-05-24T11:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。