論文の概要: Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context

• arxiv url: http://arxiv.org/abs/2410.07103v1
• Date: Wed, 9 Oct 2024 17:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 22:27:10.047724
• Title: Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context
• Title（参考訳）: 過次文脈の繰り返しによる大規模言語モデルにおけるマルチホップ推論の可能性
• Authors: Sangwon Yu, Ik-hwan Kim, Jongyoon Song, Saehyung Lee, Junsung Park, Sungroh Yoon,
• Abstract要約: 文脈反復(CoRe)という,シンプルで効果的な手法を提案する。 CoReは、モデルに対して最適な順序でサポートドキュメントが提示されることを保証するために、コンテキストを繰り返し提示することで、モデルに促す。 マルチホップQAタスクではF1スコアが最大30%向上し,合成タスクでは最大70%向上した。
• 参考スコア（独自算出の注目度）: 31.091013417498825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-hop reasoning, which requires multi-step reasoning based on the supporting documents within a given context, remains challenging for large language models (LLMs). LLMs often struggle to filter out irrelevant documents within the context, and their performance is sensitive to the position of supporting documents within that context. In this paper, we identify an additional challenge: LLMs' performance is also sensitive to the order in which the supporting documents are presented. We refer to this as the misordered context problem. To address this issue, we propose a simple yet effective method called context repetition (CoRe), which involves prompting the model by repeatedly presenting the context to ensure the supporting documents are presented in the optimal order for the model. Using CoRe, we improve the F1 score by up to 30%p on multi-hop QA tasks and increase accuracy by up to 70%p on a synthetic task. Additionally, CoRe helps mitigate the well-known "lost-in-the-middle" problem in LLMs and can be effectively combined with retrieval-based approaches utilizing Chain-of-Thought (CoT) reasoning.
• Abstract（参考訳）: マルチホップ推論(Multi-hop reasoning)は、あるコンテキスト内でのサポートドキュメントに基づいて多段階の推論を必要とするが、大きな言語モデル(LLM)では依然として困難である。 LLMは、コンテキスト内の無関係なドキュメントをフィルタリングするのに苦労することが多く、それらのパフォーマンスは、そのコンテキスト内のドキュメントをサポートする位置に敏感である。 本稿では, LLMの性能も, 支援文書が提示される順序に敏感であることを示す。 我々はこれを、順序のずれた文脈問題と呼ぶ。 この問題に対処するため,我々は,コンテキストを繰り返し提示し,支援文書がモデルに対して最適な順序で提示されることを保証し,モデルに促す,コンテキスト反復(CoRe)と呼ばれるシンプルで効果的な手法を提案する。 CoReを用いて,マルチホップQAタスクのF1スコアを最大30%改善し,合成タスクの精度を最大70%向上する。 さらに、CoRe は LLM におけるよく知られた "lost-in-the-middle" 問題を緩和し、Chain-of-Thought (CoT) 推論を用いた検索ベースのアプローチと効果的に組み合わせることができる。

関連論文リスト

• MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
  本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。 まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。 我々は,MLLMレトリバーが提示するモダリティバイアスを軽減するために,モダリティを考慮したハードネガティブマイニングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T20:06:34Z)
• Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback [17.986392250269606]
  Relevance Feedback (ReDE-RF) による実文書埋め込みについて紹介する。 ReDE-RFは、関連性フィードバックにインスパイアされて、関連性推定タスクとして仮説文書生成を再構成することを提案する。 実験の結果,ReDE-RFは最先端のゼロショット高密度検索手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:40:40Z)
• FACT: Examining the Effectiveness of Iterative Context Rewriting for Multi-fact Retrieval [20.217386507637475]
  大規模言語モデル(LLM)は、拡張された文脈から単一の事実を抽出するのに熟練しているが、複数の事実の同時検索を必要とするタスクに苦労する。 本稿では,LSMが生成過程を通じて重要情報の追跡を段階的に失う,新たな「中間者ロスト」現象を特定する。 本研究では,連続する書き直しラウンドを通じてコンテキストを洗練する反復的検索手法であるFind All Crucial Texts (FACT)を紹介する。
  論文  参考訳（メタデータ） (2024-10-28T13:36:41Z)
• Layer-of-Thoughts Prompting (LoT): Leveraging LLM-Based Retrieval with Constraint Hierarchies [0.3946282433423277]
  Layer-of-Thoughts Prompting (LoT)は、制約階層を使用して、所定のクエリに対する候補応答をフィルタリングし、精査する。 LoTは情報検索タスクの精度と理解性を著しく改善する。
  論文  参考訳（メタデータ） (2024-10-16T01:20:44Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
  Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。 既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。 検索拡張LDMのための文書順序付けを学習するための新しいパイプライン"Reinforced Retriever-Reorder-Responder"を提案する。
  論文  参考訳（メタデータ） (2024-05-04T12:59:10Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models [28.105271954633682]
  本稿では,Large Language Models (LLMs) へのリーク情報の再ランク付けのための,Q-PEFT (Q-PEFT) アプローチを提案する。 クエリを使用して、入力ドキュメントから上位$kのトークンを抽出し、コンテキストのヒントとして機能します。 検索機構をマルチヘッドアテンション層に置き換えて、エンドツーエンドのトレーニングを実現し、文書中のすべてのトークンをカバーすることにより、Q-PEFTをさらに強化する。
  論文  参考訳（メタデータ） (2024-04-06T06:44:41Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。