論文の概要: Lost in the Middle: How Language Models Use Long Contexts

• arxiv url: http://arxiv.org/abs/2307.03172v3
• Date: Mon, 20 Nov 2023 23:09:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 05:04:13.778545
• Title: Lost in the Middle: How Language Models Use Long Contexts
• Title（参考訳）: 中間の損失:言語モデルが長い文脈をどのように使うか
• Authors: Nelson F. Liu and Kevin Lin and John Hewitt and Ashwin Paranjape and Michele Bevilacqua and Fabio Petroni and Percy Liang
• Abstract要約: 本研究では,言語モデルの性能を2つのタスクで解析する。 関連する情報の位置を変えると,性能が著しく低下することがわかった。 我々の分析は、言語モデルが入力コンテキストをどのように使用するかをよりよく理解し、将来の長文言語モデルのための新しい評価プロトコルを提供する。
• 参考スコア（独自算出の注目度）: 88.78803442320246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent language models have the ability to take long contexts as input, relatively little is known about how well they use longer context. We analyze the performance of language models on two tasks that require identifying relevant information in their input contexts: multi-document question answering and key-value retrieval. We find that performance can degrade significantly when changing the position of relevant information, indicating that current language models do not robustly make use of information in long input contexts. In particular, we observe that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models. Our analysis provides a better understanding of how language models use their input context and provides new evaluation protocols for future long-context language models.
• Abstract（参考訳）: 最近の言語モデルでは、長いコンテキストを入力として扱うことができるが、より長いコンテキストの使い方についてはあまり知られていない。 入力コンテキストにおける関連情報を識別する必要がある2つのタスクにおける言語モデルの性能分析を行った。 関連する情報の位置を変えると性能が著しく低下し、現在の言語モデルが長い入力コンテキストにおける情報の利用を頑健にしないことを示す。 特に、入力コンテキストの開始時や終了時に関連情報が生じた場合、性能が最も高く、たとえ明示的に長いコンテキストモデルであっても、長いコンテキストの途中で関係情報にアクセスしなければならない場合、大幅に低下する。 分析は、言語モデルが入力コンテキストをどのように利用するかをよりよく理解し、将来のロングコンテキスト言語モデルのための新しい評価プロトコルを提供する。

関連論文リスト

• Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries [54.325172923155414]
  ミケランジェロ(Michelangelo)は、大規模言語モデルに対する最小限の、合成的で、未学習の長文推論評価である。 この評価は、任意に長いコンテキストに対する評価のための、新しく統一された枠組みによって導出される。
  論文  参考訳（メタデータ） (2024-09-19T10:38:01Z)
• A Controlled Study on Long Context Extension and Generalization in LLMs [85.4758128256142]
  広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
  論文  参考訳（メタデータ） (2024-09-18T17:53:17Z)
• Context versus Prior Knowledge in Language Models [49.17879668110546]
  言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。 本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
  論文  参考訳（メタデータ） (2024-04-06T13:46:53Z)
• Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs [6.869834883252353]
  本稿では,この課題に対して事前訓練を受けていない大規模言語モデルの性能を評価する。 その結果,大規模言語モデルでは対話からグラフクエリを生成することができることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T12:28:33Z)
• Attention Sorting Combats Recency Bias In Long Context Language Models [69.06809365227504]
  現在の言語モデルは、世代間の長いコンテキストを効率的に組み込むことができないことが多い。 この問題に対する主要なコントリビュータは,事前トレーニング中に学んだと思われる注意点である。 我々は、この事実を活用して注意ソートを導入する:1ステップのデコードを実行し、それらが受け取った注意によって文書をソートし、プロセスを繰り返し、新しくソートされたコンテキストで回答を生成する。
  論文  参考訳（メタデータ） (2023-09-28T05:19:06Z)
• Prompting Large Language Models to Reformulate Queries for Moment Localization [79.57593838400618]
  モーメントローカライゼーションのタスクは、与えられた自然言語クエリの未トリミングビデオ中の時間モーメントをローカライズすることである。 我々は,モーメントクエリを大規模言語モデルを用いて命令セットに再構成し,ローカライズモデルに親しみやすくするための初期の試みを行っている。
  論文  参考訳（メタデータ） (2023-06-06T05:48:09Z)
• Are Large Language Models Robust Coreference Resolvers? [17.60248310475889]
  我々は、コア参照のプロンプトが、現在の教師なしコア参照システムより優れていることを示す。 さらなる調査により、命令調整されたLMが驚くほどドメイン、言語、時間にまたがって一般化されることが判明した。
  論文  参考訳（メタデータ） (2023-05-23T19:38:28Z)
• Large Language Models Can Be Easily Distracted by Irrelevant Context [29.315230178997002]
  本研究では,モデル解の精度が無関係な文脈によってどのように影響されるかを検討する。 我々は,大規模言語モデルにおける最先端のプロンプト手法の散らかしやすさをベンチマークで測定する。
  論文  参考訳（メタデータ） (2023-01-31T20:48:57Z)
• Black-box language model explanation by context length probing [7.526153863886609]
  本稿では、因果言語モデルのための新しい説明手法である文脈長探索について述べる。 この技術はモデルに依存しず、トークンレベルの確率の計算以上のモデル内部へのアクセスに依存しない。 事前学習された大規模言語モデルに文脈長探索を適用し、初期分析と洞察を提供する。
  論文  参考訳（メタデータ） (2022-12-30T16:24:10Z)
• Large Language Models Struggle to Learn Long-Tail Knowledge [39.01608375863687]
  本研究では,大規模言語モデルが記憶する知識と,Webから抽出した事前学習データセットの情報との関係について検討する。 特に、事実に基づく質問に答える言語モデルの能力は、事前学習中にその質問に関連する文書がいくつ見られたかに関係していることを示す。
  論文  参考訳（メタデータ） (2022-11-15T18:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。