論文の概要: Attention Overflow: Language Model Input Blur during Long-Context Missing Items Recommendation

• arxiv url: http://arxiv.org/abs/2407.13481v1
• Date: Thu, 18 Jul 2024 13:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 15:20:54.706211
• Title: Attention Overflow: Language Model Input Blur during Long-Context Missing Items Recommendation
• Title（参考訳）: 注意オーバーフロー:長期欠落項目推奨時の言語モデル入力ブラー
• Authors: Damien Sileo,
• Abstract要約: 大きな言語モデル(LLM)は、プロンプトにリストされた項目から欠落した要素を提案できる。 しかし、そのパフォーマンスは、入力リストにすでに含まれているアイテムを提案し始めたため、あまりにも多くのアイテムを提示すると劣化する。
• 参考スコア（独自算出の注目度）: 0.6537995248511139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can suggest missing elements from items listed in a prompt, which can be used for list completion or recommendations based on users' history. However, their performance degrades when presented with too many items, as they start to suggest items already included in the input list. This occurs at around 100 items for mid-2024 flagship LLMs. We evaluate this phenomenon on both synthetic problems (e.g., finding missing numbers in a given range of shuffled integers) and realistic movie recommendation scenarios. We refer to this issue as \textit{attention overflow}, as preventing repetition requires attending to all items simultaneously. Although iterative loops can mitigate this problem, their costs increase with the repetition rate, affecting the language models' ability to derive novelty from lengthy inputs.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、プロンプトにリストされた項目から欠落した要素を提案できる。 しかし、そのパフォーマンスは、入力リストにすでに含まれているアイテムを提案し始めたため、あまりにも多くのアイテムを提示すると劣化する。 これは2024年半ばの旗艦LLMの約100項目で発生する。 この現象を合成問題(例えば、与えられたシャッフル整数の範囲の欠落数)とリアルな映画レコメンデーションシナリオの両方で評価する。 繰り返しを防ぐには、すべてのアイテムに同時に参加する必要があります。 反復ループはこの問題を軽減することができるが、そのコストは反復率によって増加し、言語モデルが長い入力から新規性を引き出す能力に影響を与える。

関連論文リスト

• MLissard: Multilingual Long and Simple Sequential Reasoning Benchmarks [10.39816548971042]
  言語モデルは、数十万のトークンからなる長いシーケンスを扱う必要のあるタスクを解決することができる。 しかしながら、単純なルールを繰り返し使用する必要のあるタスクでは、トレーニング中に見られるものよりもはるかに短いシーケンスでも失敗することが多い。 MLissardは、様々な長さのテキストを処理および生成するモデルの能力を評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2024-10-08T21:59:31Z)
• How to Leverage Digit Embeddings to Represent Numbers? [13.880400817682059]
  1+2の代わりに100+200を解くような一般化は、モデルの性能に大きく影響する。 数字の文字レベルの埋め込みは、数値表現を改善するための有望なアプローチとして現れている。 我々は、数値的な先行計算を用いて、集約された桁埋め込みを計算し、これらの集合をトランスフォーマーモデルに明示的に組み込む。
  論文  参考訳（メタデータ） (2024-07-01T01:31:41Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• Lissard: Long and Simple Sequential Reasoning Datasets [10.39816548971042]
  言語モデルは、数十万のトークンからなる長いシーケンスを扱う必要のあるタスクを解決することができる。 しかしながら、単純なルールを繰り返し使用する必要のあるタスクでは、トレーニング中に見られるものよりもはるかに短いシーケンスでも失敗することが多い。 Lissardは、7つのタスクからなるベンチマークで、その目標は、モデルが処理し、広範囲のシーケンス長を生成する能力を評価することである。
  論文  参考訳（メタデータ） (2024-02-12T18:10:17Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• Attention Sorting Combats Recency Bias In Long Context Language Models [69.06809365227504]
  現在の言語モデルは、世代間の長いコンテキストを効率的に組み込むことができないことが多い。 この問題に対する主要なコントリビュータは,事前トレーニング中に学んだと思われる注意点である。 我々は、この事実を活用して注意ソートを導入する:1ステップのデコードを実行し、それらが受け取った注意によって文書をソートし、プロセスを繰り返し、新しくソートされたコンテキストで回答を生成する。
  論文  参考訳（メタデータ） (2023-09-28T05:19:06Z)
• The first step is the hardest: Pitfalls of Representing and Tokenizing Temporal Data for Large Language Models [10.414206635385632]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な一般化を実証している。 ウェアラブルや電子健康記録から得られたデータなど、数値データや時間データをこれらのモデルに入力する際に、顕著な障害が発生する。 モバイルヘルスセンシングなどの人間中心のタスクにLLMを用いた最近の研究について論じるとともに、一般的なLLMが時間データを誤ってトークン化していることを示すケーススタディを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:51:29Z)
• Unlimiformer: Long-Range Transformers with Unlimited Length Input [67.04942180004805]
  Unlimiformerは、既存のトレーニング済みエンコーダ-デコーダ変換器をラップする一般的なアプローチである。 クロスアテンション計算をkNN(k-nearest-neighbor)インデックスにオフロードする。 Unlimiformerは、BookSumデータセットから500kのトークン長の入力を、テスト時に入力トランケーションなしで処理できることを示す。
  論文  参考訳（メタデータ） (2023-05-02T17:35:08Z)
• Joint Repetition Suppression and Content Moderation of Large Language Models [4.9990392459395725]
  自然言語生成(NLG)は、NLPにおいて最も影響力のある分野の一つである。 本稿では,トークンとシーケンスレベルを用いた非実効的繰り返し抑制に適用する。 また,攻撃的な単語の生成を避けるために,モデルに協調的に支援するために,違和感のある学習目標の枠組みについても検討する。
  論文  参考訳（メタデータ） (2023-04-20T19:17:49Z)
• Talk the Walk: Synthetic Data Generation for Conversational Music Recommendation [62.019437228000776]
  本稿では,広く利用可能なアイテムコレクションにおいて,符号化された専門知識を活用することで,現実的な高品質な会話データを生成するTalkWalkを提案する。 人間の収集したデータセットで100万以上の多様な会話を生成します。
  論文  参考訳（メタデータ） (2023-01-27T01:54:16Z)
• Online Learning of Optimally Diverse Rankings [63.62764375279861]
  ユーザのフィードバックのみに基づいて最適なリストを効率よく学習するアルゴリズムを提案する。 我々は、$T$クエリの後に、LDRの後悔は$O((N-L)log(T))$としてスケールする。
  論文  参考訳（メタデータ） (2021-09-13T12:13:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。