論文の概要: Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context
- arxiv url: http://arxiv.org/abs/2410.07103v1
- Date: Wed, 09 Oct 2024 17:41:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:34:09.031851
- Title: Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context
- Title(参考訳): 過次文脈の繰り返しによる大規模言語モデルにおけるマルチホップ推論の可能性
- Authors: Sangwon Yu, Ik-hwan Kim, Jongyoon Song, Saehyung Lee, Junsung Park, Sungroh Yoon,
- Abstract要約: 文脈反復(CoRe)という,シンプルで効果的な手法を提案する。
CoReは、モデルに対して最適な順序でサポートドキュメントが提示されることを保証するために、コンテキストを繰り返し提示することで、モデルに促す。
マルチホップQAタスクではF1スコアが最大30%向上し,合成タスクでは最大70%向上した。
- 参考スコア(独自算出の注目度): 31.091013417498825
- License:
- Abstract: Multi-hop reasoning, which requires multi-step reasoning based on the supporting documents within a given context, remains challenging for large language models (LLMs). LLMs often struggle to filter out irrelevant documents within the context, and their performance is sensitive to the position of supporting documents within that context. In this paper, we identify an additional challenge: LLMs' performance is also sensitive to the order in which the supporting documents are presented. We refer to this as the misordered context problem. To address this issue, we propose a simple yet effective method called context repetition (CoRe), which involves prompting the model by repeatedly presenting the context to ensure the supporting documents are presented in the optimal order for the model. Using CoRe, we improve the F1 score by up to 30%p on multi-hop QA tasks and increase accuracy by up to 70%p on a synthetic task. Additionally, CoRe helps mitigate the well-known "lost-in-the-middle" problem in LLMs and can be effectively combined with retrieval-based approaches utilizing Chain-of-Thought (CoT) reasoning.
- Abstract(参考訳): マルチホップ推論(Multi-hop reasoning)は、あるコンテキスト内でのサポートドキュメントに基づいて多段階の推論を必要とするが、大きな言語モデル(LLM)では依然として困難である。
LLMは、コンテキスト内の無関係なドキュメントをフィルタリングするのに苦労することが多く、それらのパフォーマンスは、そのコンテキスト内のドキュメントをサポートする位置に敏感である。
本稿では, LLMの性能も, 支援文書が提示される順序に敏感であることを示す。
我々はこれを、順序のずれた文脈問題と呼ぶ。
この問題に対処するため,我々は,コンテキストを繰り返し提示し,支援文書がモデルに対して最適な順序で提示されることを保証し,モデルに促す,コンテキスト反復(CoRe)と呼ばれるシンプルで効果的な手法を提案する。
CoReを用いて,マルチホップQAタスクのF1スコアを最大30%改善し,合成タスクの精度を最大70%向上する。
さらに、CoRe は LLM におけるよく知られた "lost-in-the-middle" 問題を緩和し、Chain-of-Thought (CoT) 推論を用いた検索ベースのアプローチと効果的に組み合わせることができる。
関連論文リスト
- Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations [44.24067814871803]
In-Context Learning (ICL) の例は少ないが、長いコンテキストでLLMのパフォーマンスを向上させるための魅力的なソリューションである。
そこで本稿では,コンテキストのリサイクルにより,長時間のQAタスクの少数例を自動的に生成する手法を提案する。
論文 参考訳(メタデータ) (2024-06-19T15:28:29Z) - R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。
既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。
検索拡張LDMのための文書順序付けを学習するための新しいパイプライン"Reinforced Retriever-Reorder-Responder"を提案する。
論文 参考訳(メタデータ) (2024-05-04T12:59:10Z) - Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。
本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。
AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文 参考訳(メタデータ) (2024-05-02T17:32:59Z) - Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models [28.105271954633682]
本稿では,Large Language Models (LLMs) へのリーク情報の再ランク付けのための,Q-PEFT (Q-PEFT) アプローチを提案する。
クエリを使用して、入力ドキュメントから上位$kのトークンを抽出し、コンテキストのヒントとして機能します。
検索機構をマルチヘッドアテンション層に置き換えて、エンドツーエンドのトレーニングを実現し、文書中のすべてのトークンをカバーすることにより、Q-PEFTをさらに強化する。
論文 参考訳(メタデータ) (2024-04-06T06:44:41Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳(メタデータ) (2024-02-26T20:33:50Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - Self-prompted Chain-of-Thought on Large Language Models for Open-domain
Multi-hop Reasoning [70.74928578278957]
オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。
大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。
高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
論文 参考訳(メタデータ) (2023-10-20T14:51:10Z) - Context Aware Query Rewriting for Text Rankers using LLM [5.164642900490078]
テキストランキングタスクのクエリ書き直し改善のための大規模モデルの有用性を解析する。
私たちは、コンテキスト対応クエリ書き換え(CAR)と呼ばれる、シンプルだが驚くほど効果的なアプローチを採用しています。
書き直しクエリを使ってランク付けを行うと、パスランキングタスクでは最大33%、ドキュメントランキングタスクでは最大28%の大幅な改善が得られます。
論文 参考訳(メタデータ) (2023-08-31T14:19:50Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。