論文の概要: Lost in the Middle, and In-Between: Enhancing Language Models' Ability to Reason Over Long Contexts in Multi-Hop QA

• arxiv url: http://arxiv.org/abs/2412.10079v1
• Date: Fri, 13 Dec 2024 12:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:15.870776
• Title: Lost in the Middle, and In-Between: Enhancing Language Models' Ability to Reason Over Long Contexts in Multi-Hop QA
• Title（参考訳）: 中・中における損失:マルチホップQAにおける言語モデルの長期的文脈に対する推論能力の強化
• Authors: George Arthur Baker, Ankush Raut, Sagi Shaier, Lawrence E Hunter, Katharina von der Wense,
• Abstract要約: マルチホップ質問応答設定における「中間のロスト」問題の効果を示す。 文脈の端からの情報の距離に関して,性能が劣化することを示す。 また,過剰な文書の内容を減らすことで問題を緩和する方法を実験した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Previous work finds that recent long-context language models fail to make equal use of information in the middle of their inputs, preferring pieces of information located at the tail ends which creates an undue bias in situations where we would like models to be equally capable of using different parts of the input. Thus far, the problem has mainly only been considered in settings with single pieces of critical information, leading us to question what happens when multiple necessary pieces of information are spread out over the inputs. Here, we demonstrate the effects of the "lost in the middle" problem in the multi-hop question answering setting -- in which multiple reasoning "hops" over disconnected documents are required -- and show that performance degrades not only with respect to the distance of information from the edges of the context, but also between pieces of information. Additionally, we experiment with means of alleviating the problem by reducing superfluous document contents through knowledge graph triple extraction and summarization, and prompting models to reason more thoroughly using chain-of-thought prompting.
• Abstract（参考訳）: 従来の研究では、最近の長期コンテキスト言語モデルは入力の中央で情報を平等に利用することができず、入力の異なる部分を等しく使用できるモデルを望む状況において、テールエンドに位置する情報の断片が不適切なバイアスを生じさせるのが好まれていた。 これまでのところ、この問題は単一のクリティカル情報を持つ設定でのみ考慮されており、複数の必要な情報を入力に分散した場合に何が起こるのかを疑問視している。 ここでは,マルチホップ問合せ設定における「中間のロスト」問題の効果を実証し,複数の論理的「ホップ」が切断された文書に対して必要であることを示すとともに,コンテキストの端からの情報の距離だけでなく,情報の断片間も性能が劣化することを示す。 さらに、知識グラフのトリプル抽出と要約により、過剰な文書の内容を減らすことで問題を緩和し、チェーン・オブ・ソート・プロンプトを用いて、モデルにより徹底的な推論を促すことにより、問題を緩和する手段を実験する。

関連論文リスト

• Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models [30.066436019078164]
  推論タスクを行う際に,大規模言語モデルが採用する一般化戦略について検討する。 以上の結果から, モデルを用いた推論手法は検索と異なり, より一般化可能な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-19T15:47:12Z)
• Distance between Relevant Information Pieces Causes Bias in Long-Context LLMs [50.40165119718928]
  LongPiBenchは、複数の関連する情報を含む位置バイアスを評価するために設計されたベンチマークである。 これらの実験によると、現在のほとんどのモデルは「中間の失われた」問題に対して堅牢であるが、関連する情報片の間隔に関する重大なバイアスが存在する。
  論文  参考訳（メタデータ） (2024-10-18T17:41:19Z)
• Attention Sorting Combats Recency Bias In Long Context Language Models [69.06809365227504]
  現在の言語モデルは、世代間の長いコンテキストを効率的に組み込むことができないことが多い。 この問題に対する主要なコントリビュータは,事前トレーニング中に学んだと思われる注意点である。 我々は、この事実を活用して注意ソートを導入する:1ステップのデコードを実行し、それらが受け取った注意によって文書をソートし、プロセスを繰り返し、新しくソートされたコンテキストで回答を生成する。
  論文  参考訳（メタデータ） (2023-09-28T05:19:06Z)
• Lost in the Middle: How Language Models Use Long Contexts [88.78803442320246]
  本研究では,言語モデルの性能を2つのタスクで解析する。 関連する情報の位置を変えると,性能が著しく低下することがわかった。 我々の分析は、言語モデルが入力コンテキストをどのように使用するかをよりよく理解し、将来の長文言語モデルのための新しい評価プロトコルを提供する。
  論文  参考訳（メタデータ） (2023-07-06T17:54:11Z)
• Causalainer: Causal Explainer for Automatic Video Summarization [77.36225634727221]
  多くのアプリケーションシナリオにおいて、不適切なビデオ要約は大きな影響を与える可能性がある。 説明可能性のモデリングは重要な関心事です。 Causalainerと呼ばれるCausal Explainerがこの問題に対処するために提案されている。
  論文  参考訳（メタデータ） (2023-04-30T11:42:06Z)
• Large Language Models Struggle to Learn Long-Tail Knowledge [39.01608375863687]
  本研究では,大規模言語モデルが記憶する知識と,Webから抽出した事前学習データセットの情報との関係について検討する。 特に、事実に基づく質問に答える言語モデルの能力は、事前学習中にその質問に関連する文書がいくつ見られたかに関係していることを示す。
  論文  参考訳（メタデータ） (2022-11-15T18:49:27Z)
• SUMBot: Summarizing Context in Open-Domain Dialogue Systems [0.0]
  本手法では,文脈の一部を履歴全体ではなく要約で置き換える簡易な手法を提案する。 要約の含意が回答生成タスクを改善する可能性を示し、システムの弱点をさらに理解するためのいくつかの事例について論じる。
  論文  参考訳（メタデータ） (2022-10-12T18:00:07Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)
• Knowledgeable Dialogue Reading Comprehension on Key Turns [84.1784903043884]
  MRC(Multi-choice Machine reading comprehension)は、ある項目と質問に対する候補オプションから正しい回答を選択するモデルである。 本研究は,複数回対話を行う対話型MRCに焦点を当てている。 それは2つの課題に悩まされ、答えの選択決定は、最近役に立つコモンセンスをサポートせずに行われ、マルチターンコンテキストは、かなりの無関係な情報を隠蔽する可能性がある。
  論文  参考訳（メタデータ） (2020-04-29T07:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。