論文の概要: Blinded by Generated Contexts: How Language Models Merge Generated and
Retrieved Contexts for Open-Domain QA?
- arxiv url: http://arxiv.org/abs/2401.11911v1
- Date: Mon, 22 Jan 2024 12:54:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 14:12:45.741120
- Title: Blinded by Generated Contexts: How Language Models Merge Generated and
Retrieved Contexts for Open-Domain QA?
- Title（参考訳）: 生成コンテキストによるBlinded: オープンドメインQAのための生成コンテキストと検索コンテキストをマージする言語モデル
- Authors: Hexiang Tan, Fei Sun, Wanli Yang, Yuanzhuo Wang, Qi Cao, Xueqi Cheng
- Abstract要約: 生成されたコンテキストと検索されたコンテキストの統合から得られた回答が、生成されたコンテキストと検索されたコンテキストのどちらかに起因しているかどうかを検討する。
実験の結果,Llama2-7b/13b) と閉(GPT 3.5/4) にまたがって, LLM が生成する文脈に有意な偏りを示した。
- 参考スコア（独自算出の注目度）: 47.93015109262758
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: While auxiliary information has become a key to enhance Large Language Models
(LLMs), relatively little is known about how well LLMs merge these contexts,
specifically generated and retrieved. To study this, we formulate a task
specifically designed to identify whether the answers, derived from the
integration of generated and retrieved contexts, are attributed to either
generated or retrieved contexts. To support this task, we develop a methodology
to construct datasets with conflicting contexts, where each question is paired
with both generated and retrieved contexts, yet only one of them contains the
correct answer. Our experiments reveal a significant bias in LLMs towards
generated contexts, as evidenced across state-of-the-art open (Llama2-7b/13b)
and closed (GPT 3.5/4) systems. We further identify two key factors
contributing to this bias: i) Contexts generated by LLMs typically show greater
similarity to the questions, increasing their likelihood of selection; ii) The
segmentation process used in retrieved contexts disrupts their completeness,
thereby hindering their full utilization in LLMs. Our analysis enhances the
understanding of how LLMs merge diverse contexts, offering valuable insights
for advancing current augmentation methods for LLMs.
- Abstract（参考訳）: 補助情報は、LLM(Large Language Models)を強化する鍵となっているが、LLMがこれらのコンテキストをどのようにマージし、特に生成し、取得するかは、比較的知られていない。
そこで本研究では,生成コンテキストと検索コンテキストの統合から得られた回答が,生成コンテキストと検索コンテキストのどちらかに起因しているかどうかを特定するためのタスクを定式化する。
このタスクを支援するために,各質問が生成コンテキストと検索コンテキストの両方にペアリングされるような,矛盾するコンテキストを持つデータセットを構築する手法を開発した。
実験の結果,Llama2-7b/13b) と閉(GPT 3.5/4) にまたがって, LLM が生成する文脈に有意な偏りを示した。
さらに、このバイアスに寄与する2つの重要な要因を特定します。
一 LLMが生み出す文脈は、通常、質問とより類似し、選択の可能性を高める。
二 検索した文脈におけるセグメンテーションのプロセスは、その完全性を阻害し、LLMの完全利用を妨げる。
我々の分析は、LLMが様々な文脈を融合する方法の理解を深め、LLMの現在の拡張方法を進める上で貴重な洞察を提供する。
関連論文リスト
- Sufficient Context: A New Lens on Retrieval Augmented Generation Systems [19.238772793096473]
LLMをコンテキストで拡張すると、多くのアプリケーションのパフォーマンスが向上する。
我々は、クエリに答える十分な情報を持つインスタンスを分類すると共に、十分なコンテキストという新しい概念を開発する。
LLMはコンテキストが十分である場合,クエリの応答に優れるが,コンテキストが不適切でない場合,しばしば不適切な回答を出力する。
論文 参考訳（メタデータ） (2024-11-09T02:13:14Z) - Learning vs Retrieval: The Role of In-Context Examples in Regression with LLMs [18.983753573277596]
そこで本研究では,内部知識の獲得と学習を併用した,文脈内学習機構の評価フレームワークを提案する。
まず、LLMが実世界のデータセット上で回帰処理を行い、LLMが内部知識を取得する範囲を計測する実験を設計できることを示す。
本稿では,これらのメカニズムが様々な要因によって引き起こされる度合いを詳細に分析する。
論文 参考訳（メタデータ） (2024-09-06T14:46:37Z) - Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。
提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。
本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
論文 参考訳（メタデータ） (2024-05-28T09:12:44Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳（メタデータ） (2023-09-15T07:22:56Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T16:46:10Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。