論文の概要: DSAS: A Universal Plug-and-Play Framework for Attention Optimization in Multi-Document Question Answering

• arxiv url: http://arxiv.org/abs/2510.12251v1
• Date: Tue, 14 Oct 2025 08:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.234007
• Title: DSAS: A Universal Plug-and-Play Framework for Attention Optimization in Multi-Document Question Answering
• Title（参考訳）: DSAS:マルチドキュメント質問回答におけるアテンション最適化のための汎用的なプラグイン・アンド・プレイフレームワーク
• Authors: Jiakai Li, Rongzheng Wang, Yizhuo Ma, Shuang Liang, Guangchun Luo, Ke Qin,
• Abstract要約: 大規模言語モデル (LLM) は様々な分野において有望である。 マルチドキュメント質問応答(Multi-doc QA)タスクの処理には、注目すべき制限がある。 2つのモジュールを含むDual-Stage Adaptive Sharpening (DSAS)を提案する。
• 参考スコア（独自算出の注目度）: 9.813879469534529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language models (LLMs) show considerable promise across various fields, they have notable limitations in handling multi-document question answering (Multi-doc QA) tasks. The first challenge is long-range dependency modeling, where LLMs struggle to focus on key information in long texts, which weakens important semantic connections. Second, most LLMs suffer from the ''lost-in-the-middle'' issue, where they have difficulty processing information in the middle of long inputs. Current solutions either truncate global dependencies or demand costly finetuning, ultimately lacking a universal and simple solution for these challenges. To resolve these limitations, we propose Dual-Stage Adaptive Sharpening (DSAS) containing two modules. (i) The Contextual Gate Weighting (CGW) module alleviates ''lost-in-the-middle'' by assessing paragraph relevance through layer-wise attention tracking and position-aware weighting. (ii) The Reciprocal Attention Suppression (RAS) module enhances focus on critical paragraphs by suppressing information exchange between key and irrelevant texts, thus mitigating the limitations in long-range dependency modeling. Notably, DSAS functions as a plug-and-play solution requiring no architectural modifications or extra training parameters. Extensive experiments on four benchmarks demonstrate DSAS's efficacy across mainstream LLMs (Llama, Qwen, Mistral, and Deepseek), with an average F1-score improvement of 4.2% in Multi-doc QA tasks on Llama-3.1-8B-Instruct and Qwen2.5-14B-Instruct. Ablation studies confirm the essential contributions of both the CGW and RAS modules. In addition, detailed discussions in the Appendix further validate the robustness and scalability of DSAS.
• Abstract（参考訳）: 大規模言語モデル (LLM) は様々な分野において有望であるが、多文書質問応答 (Multi-doc QA) タスクの処理には顕著な制限がある。 最初の課題は長距離依存性モデリングであり、LLMは、重要なセマンティック接続を弱める長文のキー情報に焦点を合わせるのに苦労する。 第二に、ほとんどのLCMは「中途半端な」問題に悩まされており、長い入力の途中で情報を処理するのが困難である。 現在のソリューションは、グローバルな依存関係を縮小するか、コストのかかる微調整を必要とするかのいずれかで、最終的にはこれらの課題に対する普遍的で単純なソリューションを欠いている。 これらの制限を解決するために,2つのモジュールを含むDual-Stage Adaptive Sharpening (DSAS)を提案する。 一 文脈ゲート加重(CGW)モジュールは、階層的注意追跡及び位置認識重み付けにより、段落関係を評価することにより「中途半端」を緩和する。 二 相互注意抑制(RAS)モジュールは、キーと無関係なテキスト間の情報交換を抑え、長距離依存モデリングにおける制限を緩和することにより、クリティカルな段落に焦点を当てる。 特にDSASは、アーキテクチャの変更や追加のトレーニングパラメータを必要としないプラグイン・アンド・プレイのソリューションとして機能する。 4つのベンチマークの大規模な実験は、DSASが主流のLLM(Llama, Qwen, Mistral, Deepseek)で有効であることを示し、Llama-3.1-8B-InstructとQwen2.5-14B-InstructのマルチドックQAタスクで平均4.2%改善された。 アブレーション研究はCGWモジュールとRASモジュールの両方の本質的な寄与を確認している。 さらに、Appendixの詳細な議論は、DSASの堅牢性とスケーラビリティをさらに検証している。

関連論文リスト

• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
  我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。 各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。 その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
  論文  参考訳（メタデータ） (2025-06-18T19:44:46Z)
• Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning [0.0]
  パターン・オブ・シント(CoT)とプログラム・オブ・シント(PoT)ファインチューニング(PoT)は、LPMの知識を小さな言語モデル(SLM)に転送する一般的な方法である。 本稿では,SLMの問題解決プロセスを強化するために,新たな2段階のプロンプト戦略であるGap-Filling Prompting(GFP)を紹介する。
  論文  参考訳（メタデータ） (2024-11-08T08:52:59Z)
• Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely [8.507599833330346]
  外部データで拡張された大規模言語モデル(LLM)は、現実世界のタスクを完了させる際、顕著な能力を示した。 Retrieval-Augmented Generation (RAG) とファインチューニングが注目され、広く応用されている。 しかし、データ拡張LDMを様々な専門分野に効果的に展開することは、重大な課題である。
  論文  参考訳（メタデータ） (2024-09-23T11:20:20Z)
• IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
  クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。 本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。 これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T07:14:56Z)
• Never Lost in the Middle: Mastering Long-Context Question Answering with Position-Agnostic Decompositional Training [9.128501882000315]
  大規模言語モデル(LLM)は、長い文脈で正しい情報を求めるのに苦労している。 本稿では,LLMの長期的コンテキストにおける情報探索と反射能力の向上を,特別に設計されたタスクを通して行うことを提案する。 実験の結果、マルチドックQAやその他のベンチマークでは、シャッフル設定において、最先端モデルよりも13.7%向上した。
  論文  参考訳（メタデータ） (2023-11-15T18:42:44Z)
• Branch-Solve-Merge Improves Large Language Model Evaluation and Generation [136.7876524839751]
  大規模言語モデル(LLM)は多面的言語生成や評価タスクに頻繁に使用される。 本稿では,これらの課題に対処するための大規模言語モデルプログラムであるブランチ・マージ(BSM)を提案する。 BSMは、人間とLLMの合意を最大26%向上させることにより、各LLMの評価正当性と整合性を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T17:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。