論文の概要: Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction

• arxiv url: http://arxiv.org/abs/2402.12170v2
• Date: Thu, 23 May 2024 06:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 06:38:52.700517
• Title: Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction
• Title（参考訳）: 答えはどこにあるのか?言語モデル知識抽出における位置バイアスの調査
• Authors: Kuniaki Saito, Kihyuk Sohn, Chen-Yu Lee, Yoshitaka Ushiku,
• Abstract要約: 大規模な言語モデルでは、更新を最新状態に保つか、あるいは新しいドメインに適応する必要がある。 1つの鍵は、記憶された情報がクエリプロンプトで抽出可能な方法で最新の情報を記憶することである。 微調整中に文書の難易度を最小化しているにもかかわらず、LLMはプロンプト文を通して情報を取り出すのに苦労している。
• 参考スコア（独自算出の注目度）: 36.40833517478628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models require updates to remain up-to-date or adapt to new domains by fine-tuning them with new documents. One key is memorizing the latest information in a way that the memorized information is extractable with a query prompt. However, LLMs suffer from a phenomenon called perplexity curse; despite minimizing document perplexity during fine-tuning, LLMs struggle to extract information through a prompt sentence. In this new knowledge acquisition and extraction, we find a very intriguing fact that LLMs can accurately answer questions about the first sentence, but they struggle to extract information described in the middle or end of the documents used for fine-tuning. Our study suggests that the auto-regressive training causes this issue; each token is prompted by reliance on all previous tokens, which hinders the model from recalling information from training documents by question prompts. To conduct the in-depth study, we publish both synthetic and real datasets, enabling the evaluation of the QA performance w.r.t. the position of the corresponding answer in a document. Our investigation shows that even a large model suffers from the perplexity curse, but regularization such as denoising auto-regressive loss can enhance the information extraction from diverse positions. These findings will be (i) a key to improving knowledge extraction from LLMs and (ii) new elements to discuss the trade-off between RAG and fine-tuning in adapting LLMs to a new domain.
• Abstract（参考訳）: 大規模な言語モデルでは、更新を最新状態に保つか、新しいドキュメントを微調整することで新しいドメインに適応する必要がある。 1つの鍵は、記憶された情報がクエリプロンプトで抽出可能な方法で最新の情報を記憶することである。 しかし、LLMはパープレキシティ呪いと呼ばれる現象に悩まされ、微調整中に文書のパープレキシティを最小化するが、即時文で情報を取り出すのに苦労する。 この新たな知識獲得と抽出では、LLMが第一文に関する質問に正確に答えられることが非常に興味深いが、微調整に使用する文書の中端や端に記述された情報を抽出するのに苦労している。 本研究は, 自己回帰学習がこの問題を引き起こすことを示唆するものであり, 各トークンは, 従来のトークンの全てに依存して誘導される。 詳細な研究を行うため、我々は合成データと実データの両方を公開し、文書中の対応する回答の位置に関するQA性能の評価を可能にする。 本研究は,大規模なモデルであっても難解な呪文に悩まされていることを示しているが,自己回帰的損失を抑えるような正規化は,多様な位置からの情報抽出を促進することができる。 これらの発見は 一 LLMからの知識抽出を改善するための鍵 2新しい領域にLSMを適用する際のRAGと微調整のトレードオフを議論する新しい要素。

関連論文リスト

• Best Practices for Distilling Large Language Models into BERT for Web Search Ranking [14.550458167328497]
  LLM(Large Language Models)は、潜在的文書のランク付けリストを生成する。 LLMのランキングの専門知識をBERTのようなよりコンパクトなモデルに移行し、ランキングの損失を利用して、リソース集約の少ないモデルのデプロイを可能にします。 2024年2月現在,我々のモデルは商用ウェブ検索エンジンに統合されている。
  論文  参考訳（メタデータ） (2024-11-07T08:54:46Z)
• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  リファレンス・アウェア・インストラクション・コンストラクション(CRaFT)のための確実性表現型知識フローについて紹介する。 CRaFTは、応答の確実性を取り入れて、データを選択的にフィルタリングし、修正し、静的な競合を減らす。 オープンエンド質問応答と複数選択質問課題について広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation [6.676337039829463]
  ミス情報ガイド検索抽出パラダイム(MIGRES)を提案する。 欠落した情報の識別を利用して、その後の知識検索を操縦するターゲットクエリを生成する。 複数の公開データセットに対して行われた大規模な実験は、提案したMIGRES法の優位性を明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:56:59Z)
• Instruction-tuned Language Models are Better Knowledge Learners [106.38526595116961]
  文書の学習に先立って質問を指導するPIT(Pre-instruction-tuning)を提案する。 大規模な実験とアブレーション研究により、プレインストラクションチューニングはLLMが新しい文書から知識を吸収する能力を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-20T09:20:32Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering [9.158919909909146]
  本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。 3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2023-06-07T15:20:24Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。