論文の概要: A Controlled Study on Long Context Extension and Generalization in LLMs

• arxiv url: http://arxiv.org/abs/2409.12181v2
• Date: Mon, 23 Sep 2024 14:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-24 13:39:07.581760
• Title: A Controlled Study on Long Context Extension and Generalization in LLMs
• Title（参考訳）: LLMの長期拡張と一般化に関する制御学的研究
• Authors: Yi Lu, Jing Nathan Yan, Songlin Yang, Justin T. Chiu, Siyu Ren, Fei Yuan, Wenting Zhao, Zhiyong Wu, Alexander M. Rush,
• Abstract要約: 広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
• 参考スコア（独自算出の注目度）: 85.4758128256142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Broad textual understanding and in-context learning require language models that utilize full document contexts. Due to the implementation challenges associated with directly training long-context models, many methods have been proposed for extending models to handle long contexts. However, owing to differences in data and model classes, it has been challenging to compare these approaches, leading to uncertainty as to how to evaluate long-context performance and whether it differs from standard evaluation. We implement a controlled protocol for extension methods with a standardized evaluation, utilizing consistent base models and extension data. Our study yields several insights into long-context behavior. First, we reaffirm the critical role of perplexity as a general-purpose performance indicator even in longer-context tasks. Second, we find that current approximate attention methods systematically underperform across long-context tasks. Finally, we confirm that exact fine-tuning based methods are generally effective within the range of their extension, whereas extrapolation remains challenging. All codebases, models, and checkpoints will be made available open-source, promoting transparency and facilitating further research in this critical area of AI development.
• Abstract（参考訳）: 広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 しかし、データとモデルクラスの違いにより、これらのアプローチを比較することは困難であり、長文性能の評価方法や、それが標準評価と異なるかどうかの不確実性につながっている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。 我々の研究は、長期の文脈行動に関するいくつかの洞察をもたらす。 まず、長文タスクにおいても、汎用的なパフォーマンス指標としてパープレキシティが重要な役割を担っていることを再確認する。 第二に、現在の近似的注意法は、長文タスクにおいて体系的に過小評価されている。 最後に,厳密な微調整法が拡張範囲で一般的に有効であることを確認し,外挿は依然として困難である。 すべてのコードベース、モデル、チェックポイントがオープンソースとして公開され、透明性を促進し、AI開発におけるこの重要な領域におけるさらなる研究を促進する。

関連論文リスト

• Combining Large Language Models with Static Analyzers for Code Review Generation [0.8192907805418583]
  知識ベースシステム(KBS)と学習ベースシステム(LBS)の強みを組み合わせたハイブリッドアプローチを提案する。 本手法は,言語モデルパイプラインの3つの異なる段階における知識を統合する。 以上の結果から,これらのハイブリッド戦略がレビューコメントの関連性,完全性,全体的な品質を高めることが示唆された。
  論文  参考訳（メタデータ） (2025-02-10T16:29:12Z)
• How Effective Is Self-Consistency for Long-Context Problems? [18.633918831942434]
  大規模言語モデル(LLM)の性能向上のために,自己整合性(SC)が実証されている。 本研究では,LLMが位置バイアスに苦しむ長文シナリオにおけるSCの役割について検討した。
  論文  参考訳（メタデータ） (2024-11-02T01:52:42Z)
• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• ACER: Automatic Language Model Context Extension via Retrieval [36.40066695682234]
  現在のオープンウェイト・ジェネリリストのロングコンテキストモデルは、実用的ロングコンテキスト処理タスクにはまだ欠けている。 短文LMを用いて,この処理を模倣するテキスト自動データ合成パイプラインを構築した。 短文LMは、タスク固有の長文機能を得るために、これらの自己生成データを使ってさらに調整される。
  論文  参考訳（メタデータ） (2024-10-11T17:57:06Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• Structured Packing in LLM Training Improves Long Context Utilization [11.484631908171465]
  本研究では,意味的相互依存を高めるための学習データの構造化について検討する。 本研究では,SPLiCe(Structured Packing for Long Context)法を提案する。 我々はSPLiCeを様々なサイズのモデルで実証的に検証した。
  論文  参考訳（メタデータ） (2023-12-28T16:25:52Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。