論文の概要: Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization

• arxiv url: http://arxiv.org/abs/2406.16008v1
• Date: Sun, 23 Jun 2024 04:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:23:47.267430
• Title: Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization
• Title（参考訳）: 中期:長期的文脈利用を改善する位置注意バイアスの校正
• Authors: Cheng-Yu Hsieh, Yung-Sung Chuang, Chun-Liang Li, Zifeng Wang, Long T. Le, Abhishek Kumar, James Glass, Alexander Ratner, Chen-Yu Lee, Ranjay Krishna, Tomas Pfister,
• Abstract要約: 大規模言語モデル(LLM)は、入力の中央に位置する関連する情報を取得するのに苦労する。 この現象はミドル・イン・ザ・ミドル問題として知られている。 また,中級中級中級中級中級中級中級中級中級中級中級中級中級中級中級中級中級中級健常者を対象に,長期にわたる中級中級中級中級中級健常者を対象とした。
• 参考スコア（独自算出の注目度）: 97.84156490765457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs), even when specifically trained to process long input contexts, struggle to capture relevant information located in the middle of their input. This phenomenon has been known as the lost-in-the-middle problem. In this work, we make three contributions. First, we set out to understand the factors that cause this phenomenon. In doing so, we establish a connection between lost-in-the-middle to LLMs' intrinsic attention bias: LLMs exhibit a U-shaped attention bias where the tokens at the beginning and at the end of its input receive higher attention, regardless of their relevance. Second, we mitigate this positional bias through a calibration mechanism, found-in-the-middle, that allows the model to attend to contexts faithfully according to their relevance, even though when they are in the middle. Third, we show found-in-the-middle not only achieves better performance in locating relevant information within a long context, but also eventually leads to improved retrieval-augmented generation (RAG) performance across various tasks, outperforming existing methods by up to 15 percentage points. These findings open up future directions in understanding LLM attention bias and its potential consequences.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、長い入力コンテキストを処理するために特別に訓練されたとしても、入力の中央に位置する関連する情報を捉えるのに苦労する。 この現象はミドル・イン・ザ・ミドル問題として知られている。 この作業では、3つのコントリビューションを行います。 まず、この現象を引き起こす要因を理解することにしました。 LLMはU字型の注意バイアスを示し, 入力開始時のトークンと終了時のトークンは, 関連性に関係なく高い注意を受ける。 第二に、この位置バイアスをキャリブレーション機構によって緩和し、中途半端のときであっても、モデルが関連性に応じて忠実にコンテキストに出席できるようにします。 第3に,提案手法では,適切な情報の位置決め性能の向上だけでなく,様々なタスクにまたがる検索強化生成(RAG)性能の向上も達成し,既存の手法を最大15ポイント上回る結果となった。 これらの知見は、LCMの注意バイアスとその潜在的な影響を理解するための将来の方向性を開く。

関連論文リスト

• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 因果的注意は一般的に、モデルが遠方のコンテンツを好むのに対して、RoPEのような相対的な位置エンコーディングは近くのものを好む。 本研究では,異なる入力セグメント順序(例えばLM-as-a-judgeのオプション,QAの検索文書)によって生じる位置バイアスを,TRAINING-FREE ZERO-SHOT方式で推定する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Attention Instruction: Amplifying Attention in the Middle via Prompting [35.07098912195063]
  言語モデルはいまだ位置バイアスに悩まされており、コンテキストの中央へのアクセスと使用が困難である。 本研究では,LSMの相対的位置認識と,プロンプトによる不均等注意の軽減の可能性について検討した。
  論文  参考訳（メタデータ） (2024-06-24T19:35:11Z)
• Unveiling and Harnessing Hidden Attention Sinks: Enhancing Large Language Models without Training through Attention Calibration [15.36841874118801]
  我々は,大規模言語モデル(LLM)における注意シンクの存在をより深く理解することを目的としている。 本研究では,入力適応方式で推論中のハエの注意分布を自動的に最適化する訓練自由注意法(ACT)を提案する。 ACTは、Llama-30Bに適用した場合、異なるデータセット間で平均7.30%の精度向上を達成する。
  論文  参考訳（メタデータ） (2024-06-22T07:00:43Z)
• Insights into LLM Long-Context Failures: When Transformers Know but Don't Tell [14.146413770229392]
  大規模言語モデル(LLM)は位置バイアスを示し、長い文脈の中端からの情報を活用するのに苦労する。 LLMはターゲット情報の位置を符号化するが、正確な応答を生成するのに失敗することが多い。
  論文  参考訳（メタデータ） (2024-06-20T18:50:44Z)
• Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
  大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。 近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。 本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-01T19:04:17Z)
• Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
  本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
  論文  参考訳（メタデータ） (2024-03-05T04:58:37Z)
• Fortify the Shortest Stave in Attention: Enhancing Context Awareness of Large Language Models for Effective Tool Use [74.72150542395487]
  大規模言語モデル(LLM)の注意配分における固有波形パターンは、高い文脈認識を必要とするタスクにおいて、その性能に大きな影響を及ぼす。 この問題に対処するため,Attention Buckets という新しい推論手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T17:24:51Z)
• Never Lost in the Middle: Improving Large Language Models via Attention Strengthening Question Answering [0.14043931310479374]
  大規模言語モデル(LLM)は、長い文脈で正しい情報を求めるのに苦労している。 本稿では,LLMの長期的コンテキストにおける情報探索と反射能力の向上を,特別に設計されたタスクを通して行うことを提案する。 実験の結果、マルチドックQAやその他のベンチマークでは、シャッフル設定において、最先端モデルよりも13.7%向上した。
  論文  参考訳（メタデータ） (2023-11-15T18:42:44Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Causal Attention for Unbiased Visual Recognition [76.87114090435618]
  注意モジュールは、どんなコンテキストにおいても堅牢な因果的特徴を深層モデルで学ぶのに役立つとは限らない。 本稿では,コーカサリ・アテンション・モジュール(CaaM)を提案する。 OOD設定では、CaaMによるディープモデルは、それなしではパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2021-08-19T16:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。