論文の概要: Blinded by Generated Contexts: How Language Models Merge Generated and
Retrieved Contexts for Open-Domain QA?
- arxiv url: http://arxiv.org/abs/2401.11911v2
- Date: Tue, 13 Feb 2024 03:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 18:45:32.119212
- Title: Blinded by Generated Contexts: How Language Models Merge Generated and
Retrieved Contexts for Open-Domain QA?
- Title(参考訳): 生成コンテキストによるBlinded: オープンドメインQAのための生成コンテキストと検索コンテキストをマージする言語モデル
- Authors: Hexiang Tan, Fei Sun, Wanli Yang, Yuanzhuo Wang, Qi Cao, Xueqi Cheng
- Abstract要約: 大規模言語モデルが生成および検索コンテキストをどのように統合するかについて検討する。
誤った情報を提供する場合であっても、LLMが生成したコンテキストに対して有意なバイアスを生じさせる。
- 参考スコア(独自算出の注目度): 47.93015109262758
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: While auxiliary information has become a key to enhance Large Language Models
(LLMs), relatively little is known about how LLMs merge these contexts,
specifically generated and retrieved. To study this, we formulate a systematic
framework to identify whether LLMs' responses, derived from the integration of
generated and retrieved contexts, are attributed to either generated or
retrieved contexts. To achieve this, we construct datasets with conflicting
contexts, where each question is paired with both generated and retrieved
contexts, yet only one of them contains the correct answer. Our experiments
reveal a significant bias in LLMs (GPT-4/3.5 and Llama2) towards generated
contexts, even when they provide incorrect information. We further identify two
key factors contributing to this bias: i) contexts generated by LLMs typically
show greater similarity to the questions, increasing their likelihood of
selection; ii) the segmentation process used in retrieved contexts disrupts
their completeness, thereby hindering their full utilization in LLMs. Our
analysis enhances the understanding of how LLMs merge diverse contexts,
offering valuable insights for advancing current augmentation methods for LLMs.
- Abstract(参考訳): 補助情報は、LLM(Large Language Models)を強化する鍵となっているが、LLMがこれらのコンテキストをどのように統合し、特に生成し、取り出すかについては、あまり知られていない。
そこで本研究では,LLMの応答が生成コンテキストと検索コンテキストの統合から導かれるのかを,生成コンテキストと検索コンテキストのいずれかに関連付けられているのかを判定する枠組みを定式化する。
これを実現するために、各質問が生成されたコンテキストと検索されたコンテキストの両方とペアリングされるような、矛盾するコンテキストを持つデータセットを構築します。
実験の結果,LLM(GPT-4/3.5およびLlama2)は,誤った情報を提供する場合でも,生成したコンテキストに対して有意な偏りを示した。
さらに、このバイアスに寄与する2つの重要な要因を特定します。
i) LLMが生成する文脈は,通常,質問とより類似し,選択の可能性を高める。
二 検索した文脈におけるセグメンテーションのプロセスは、その完全性を損なうため、LLMの完全利用を阻害する。
我々の分析は、LLMが様々な文脈を融合する方法の理解を深め、LLMの現在の拡張方法を進める上で貴重な洞察を提供する。
関連論文リスト
- Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - ReSLLM: Large Language Models are Strong Resource Selectors for
Federated Search [35.44746116088232]
フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。
現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。
ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
論文 参考訳(メタデータ) (2024-01-31T07:58:54Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-09-15T07:22:56Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。