論文の概要: Blinded by Generated Contexts: How Language Models Merge Generated and
Retrieved Contexts for Open-Domain QA?
- arxiv url: http://arxiv.org/abs/2401.11911v1
- Date: Mon, 22 Jan 2024 12:54:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 14:12:45.741120
- Title: Blinded by Generated Contexts: How Language Models Merge Generated and
Retrieved Contexts for Open-Domain QA?
- Title(参考訳): 生成コンテキストによるBlinded: オープンドメインQAのための生成コンテキストと検索コンテキストをマージする言語モデル
- Authors: Hexiang Tan, Fei Sun, Wanli Yang, Yuanzhuo Wang, Qi Cao, Xueqi Cheng
- Abstract要約: 生成されたコンテキストと検索されたコンテキストの統合から得られた回答が、生成されたコンテキストと検索されたコンテキストのどちらかに起因しているかどうかを検討する。
実験の結果,Llama2-7b/13b) と閉(GPT 3.5/4) にまたがって, LLM が生成する文脈に有意な偏りを示した。
- 参考スコア(独自算出の注目度): 47.93015109262758
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: While auxiliary information has become a key to enhance Large Language Models
(LLMs), relatively little is known about how well LLMs merge these contexts,
specifically generated and retrieved. To study this, we formulate a task
specifically designed to identify whether the answers, derived from the
integration of generated and retrieved contexts, are attributed to either
generated or retrieved contexts. To support this task, we develop a methodology
to construct datasets with conflicting contexts, where each question is paired
with both generated and retrieved contexts, yet only one of them contains the
correct answer. Our experiments reveal a significant bias in LLMs towards
generated contexts, as evidenced across state-of-the-art open (Llama2-7b/13b)
and closed (GPT 3.5/4) systems. We further identify two key factors
contributing to this bias: i) Contexts generated by LLMs typically show greater
similarity to the questions, increasing their likelihood of selection; ii) The
segmentation process used in retrieved contexts disrupts their completeness,
thereby hindering their full utilization in LLMs. Our analysis enhances the
understanding of how LLMs merge diverse contexts, offering valuable insights
for advancing current augmentation methods for LLMs.
- Abstract(参考訳): 補助情報は、LLM(Large Language Models)を強化する鍵となっているが、LLMがこれらのコンテキストをどのようにマージし、特に生成し、取得するかは、比較的知られていない。
そこで本研究では,生成コンテキストと検索コンテキストの統合から得られた回答が,生成コンテキストと検索コンテキストのどちらかに起因しているかどうかを特定するためのタスクを定式化する。
このタスクを支援するために,各質問が生成コンテキストと検索コンテキストの両方にペアリングされるような,矛盾するコンテキストを持つデータセットを構築する手法を開発した。
実験の結果,Llama2-7b/13b) と閉(GPT 3.5/4) にまたがって, LLM が生成する文脈に有意な偏りを示した。
さらに、このバイアスに寄与する2つの重要な要因を特定します。
一 LLMが生み出す文脈は、通常、質問とより類似し、選択の可能性を高める。
二 検索した文脈におけるセグメンテーションのプロセスは、その完全性を阻害し、LLMの完全利用を妨げる。
我々の分析は、LLMが様々な文脈を融合する方法の理解を深め、LLMの現在の拡張方法を進める上で貴重な洞察を提供する。
関連論文リスト
- Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - ReSLLM: Large Language Models are Strong Resource Selectors for
Federated Search [35.44746116088232]
フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。
現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。
ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
論文 参考訳(メタデータ) (2024-01-31T07:58:54Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-09-15T07:22:56Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。