論文の概要: When Does Divide and Conquer Work for Long Context LLM? A Noise Decomposition Framework
- arxiv url: http://arxiv.org/abs/2506.16411v1
- Date: Thu, 19 Jun 2025 15:49:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-23 19:00:05.145437
- Title: When Does Divide and Conquer Work for Long Context LLM? A Noise Decomposition Framework
- Title(参考訳): 長期LLMにおける除算と乗算はいつ働くか? -ノイズ分解フレームワーク-
- Authors: Zhen Xu, Shang Zhu, Jue Wang, Junlin Wang, Ben Athiwaratkun, Chi Wang, James Zou, Ce Zhang,
- Abstract要約: 本稿では,Large Language Models (LLM) を長文に適用することの課題について検討する。
本稿では,長いコンテキストタスクの障害モードを,クロスチャンク依存(タスクノイズ),コンテキストサイズで大きくなる混乱(モデルノイズ),部分的な結果の完全統合(集約ノイズ)の3つのカテゴリに分類する理論的枠組みを提案する。
- 参考スコア(独自算出の注目度): 39.66331560468973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the challenge of applying Large Language Models (LLMs) to long texts. We propose a theoretical framework that distinguishes the failure modes of long context tasks into three categories: cross-chunk dependence (task noise), confusion that grows with context size (model noise), and the imperfect integration of partial results (aggregator noise). Under this view, we analyze when it is effective to use multi-agent chunking, i.e., dividing a length sequence into smaller chunks and aggregating the processed results of each chunk. Our experiments on tasks such as retrieval, question answering, and summarization confirm both the theoretical analysis and the conditions that favor multi-agent chunking. By exploring superlinear model noise growth with input length, we also explain why, for large inputs, a weaker model configured with chunk-based processing can surpass a more advanced model like GPT4o applied in a single shot. Overall, we present a principled understanding framework and our results highlight a direct pathway to handling long contexts in LLMs with carefully managed chunking and aggregator strategies.
- Abstract(参考訳): 本稿では,Large Language Models (LLM) を長文に適用することの課題について検討する。
本稿では,長いコンテキストタスクの障害モードを,クロスチャンク依存(タスクノイズ),コンテキストサイズで大きくなる混乱(モデルノイズ),部分的な結果の完全統合(集約ノイズ)の3つのカテゴリに分類する理論的枠組みを提案する。
この観点では、長さ列を小さなチャンクに分割し、各チャンクの処理結果を集約するマルチエージェントチャンクが有効であるかどうかを分析する。
検索,質問応答,要約などのタスクに関する実験により,理論的解析とマルチエージェント・チャンキングに有利な条件が確認できた。
入力長を持つ超線形モデルノイズ成長を探索することにより、チャンクベースの処理で構成された弱いモデルが、1ショットで適用されたGPT4oのようなより高度なモデルを上回ることができる理由も説明できる。
本報告では,LLMにおける長いコンテキストを扱うための直接的な経路を,注意深く管理されたチャンキングとアグリゲータ戦略を用いて提示する。
関連論文リスト
- Towards Long Context Hallucination Detection [49.195854802543714]
大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。
それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。
本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-04-28T03:47:05Z) - END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。
彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。
我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
論文 参考訳(メタデータ) (2025-02-26T08:07:17Z) - LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。
提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
論文 参考訳(メタデータ) (2024-10-12T03:13:44Z) - Compositional Hardness of Code in Large Language Models -- A Probabilistic Perspective [6.911107705494142]
大規模言語モデル(LLM)における一般的なプラクティスは、モデルのコンテキストウィンドウ内のタスク全体に対するソリューションをサンプリングすることである。
これまでの研究では、モデルのコンテキスト内でのサブタスク分解がそのようなタスクの解決に有用であることが示されている。
論文 参考訳(メタデータ) (2024-09-26T16:34:35Z) - LaSagnA: Language-based Segmentation Assistant for Complex Queries [39.620806493454616]
視覚のための大規模言語モデル(vLLM)は、バウンディングボックスやマスクを含む知覚結果を生成する。
本研究では,これらの問題の主な原因が,学習クエリの複雑さの不足であることを認めた。
本稿では,提案フォーマットの直接統合による課題を効果的に解決するための3つの新しい戦略を提案する。
論文 参考訳(メタデータ) (2024-04-12T14:40:45Z) - Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。
この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。
私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
論文 参考訳(メタデータ) (2022-02-02T08:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。