論文の概要: LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning

• arxiv url: http://arxiv.org/abs/2412.13626v1
• Date: Wed, 18 Dec 2024 09:04:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:26.850927
• Title: LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning
• Title（参考訳）: LIFT:Long Input Fine-TuningによるLong Context理解の改善
• Authors: Yansheng Mao, Jiaqi Li, Fanxu Meng, Jing Xiong, Zilong Zheng, Muhan Zhang,
• Abstract要約: 本稿では,ロングコンテキストモデリングのための Long Input Fine-Tuning (LIFT) を提案する。 LIFTは、オフライン長文適応の計算負担を伴わずに、長時間入力の効率的な処理を可能にする。 このフレームワークは、コンテキスト内学習とLIFT前教師付き微調整を統合することでさらに強化されている。
• 参考スコア（独自算出の注目度）: 35.31849814789343
• License:
• Abstract: Long context understanding remains challenging for large language models due to their limited context windows. This paper introduces Long Input Fine-Tuning (LIFT) for long context modeling, a novel framework that enhances LLM performance on long-context tasks by adapting model parameters to the context at test time. LIFT enables efficient processing of lengthy inputs without the computational burden of offline long-context adaptation, and can improve the long-context capabilities of arbitrary short-context models. The framework is further enhanced by integrating in-context learning and pre-LIFT supervised fine-tuning. The combination of in-context learning and LIFT enables short-context models like Llama 3 to handle arbitrarily long contexts and consistently improves their performance on popular long-context benchmarks like LooGLE and LongBench. We also provide a comprehensive analysis of the strengths and limitations of LIFT on long context understanding, offering valuable directions for future research.
• Abstract（参考訳）: コンテキストウィンドウが限られているため、大きな言語モデルでは長いコンテキスト理解が依然として困難である。 本稿では,Long Input Fine-Tuning(LIFT)を長期コンテキストモデリングに適用する。これは,テスト時にコンテキストにモデルパラメータを適用することで,長期コンテキストタスクにおけるLLM性能を向上させる新しいフレームワークである。 LIFTは、オフライン長文適応の計算負担を伴わずに、長時間入力の効率的な処理を可能にし、任意の短文モデルの長文機能を改善することができる。 このフレームワークは、コンテキスト内学習とLIFT前教師付き微調整を統合することでさらに強化されている。 インコンテキスト学習とLIFTの組み合わせにより、Llama 3のような短コンテキストモデルでは、任意に長いコンテキストを処理でき、LooGLEやLongBenchといった一般的な長コンテキストベンチマークのパフォーマンスを一貫して改善することができる。 また, LIFTの長期的理解における強みと限界を包括的に分析し, 今後の研究に有用な方向性を提供する。

関連論文リスト

• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• LongReward: Improving Long-context Large Language Models with AI Feedback [54.3321542678909]
  LongRewardは、4次元の長文モデル応答に対して報酬を与える新しい方法である。 実験の結果,LongRewardはモデル長文性能を大幅に向上するだけでなく,短い命令に従う能力も向上することがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:50:42Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)
• CLEX: Continuous Length Extrapolation for Large Language Models [68.43814043853347]
  大規模言語モデル(LLM)のためのCLEX(Continuous Longth Extrapolation)を提案する。 CLEXはコンテキストウィンドウを4倍または8倍のトレーニング長に拡張するが、性能は劣化しない。 我々のモデルは4k長でトレーニングされ、最先端のオープンソースモデルに対して最大32k長でトレーニングされた。
  論文  参考訳（メタデータ） (2023-10-25T08:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。