論文の概要: LIFT: Improving Long Context Understanding of Large Language Models through Long Input Fine-Tuning

• arxiv url: http://arxiv.org/abs/2502.14644v1
• Date: Thu, 20 Feb 2025 15:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:27:55.450058
• Title: LIFT: Improving Long Context Understanding of Large Language Models through Long Input Fine-Tuning
• Title（参考訳）: LIFT:Long Input Fine-Tuningによる大規模言語モデルの長期理解の改善
• Authors: Yansheng Mao, Yufei Xu, Jiaqi Li, Fanxu Meng, Haotong Yang, Zilong Zheng, Xiyuan Wang, Muhan Zhang,
• Abstract要約: Long Input Fine-Tuning (LIFT)は、ロングコンテキストモデリングのための新しいフレームワークである。 LIFTは長い入力に基づいてモデルパラメータを動的に適応する。 Gated Memoryは、長期入力記憶とICLを自動的にバランスをとる特別なアテンションアダプタである。
• 参考スコア（独自算出の注目度）: 45.30182393918228
• License:
• Abstract: Long context understanding remains challenging for large language models due to their limited context windows. This paper presents Long Input Fine-Tuning (LIFT), a novel framework for long-context modeling that can improve the long-context performance of arbitrary (short-context) LLMs by dynamically adapting model parameters based on the long input. Importantly, LIFT, rather than endlessly extending the context window size to accommodate increasingly longer inputs in context, chooses to store and absorb the long input in parameter. By fine-tuning the long input into model parameters, LIFT allows short-context LLMs to answer questions even when the required information is not provided in the context during inference. Furthermore, to enhance LIFT performance while maintaining the original in-context learning (ICL) capabilities, we introduce Gated Memory, a specialized attention adapter that automatically balances long input memorization and ICL. We provide a comprehensive analysis of the strengths and limitations of LIFT on long context understanding, offering valuable directions for future research.
• Abstract（参考訳）: コンテキストウィンドウが限られているため、大きな言語モデルでは長いコンテキスト理解が依然として困難である。 本稿では,Long Input Fine-Tuning(LIFT)を提案する。これは長文モデリングのための新しいフレームワークで,長文入力に基づいてモデルパラメータを動的に適応させることで,任意の(短文)LLMの長文性能を向上させる。 重要なことは、LIFTはコンテキストウィンドウサイズを無限に拡張して、コンテキスト内のより長い入力を許容する代わりに、長い入力をパラメータに保存し、吸収する選択をする。 LIFTは、長い入力をモデルパラメータに微調整することで、推論中に必要な情報がコンテキストに提供されていない場合でも、短いコンテキストのLLMで質問に答えることを可能にする。 さらに,従来のコンテキスト内学習(ICL)機能を維持しながらLIFT性能を向上させるために,長期入力記憶とICLの自動バランスをとる特別なアテンダアダプタであるGated Memoryを導入する。 我々は,LIFTの長期的理解における強みと限界を包括的に分析し,今後の研究に有用な方向性を提供する。

関連論文リスト

• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• LongReward: Improving Long-context Large Language Models with AI Feedback [54.3321542678909]
  LongRewardは、4次元の長文モデル応答に対して報酬を与える新しい方法である。 実験の結果,LongRewardはモデル長文性能を大幅に向上するだけでなく,短い命令に従う能力も向上することがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:50:42Z)
• FltLM: An Intergrated Long-Context Large Language Model for Effective Context Filtering and Understanding [32.197113821638936]
  我々は,新しいLong-Context Large Language Model (FltLM)を提案する。 FltLMはコンテキストフィルタをソフトマスク機構に組み込み、関連する情報に集中するために無関係な内容を特定し、動的に排除する。 実験の結果,複雑なQAシナリオにおいて,FltLMは教師付き微調整法や検索法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-09T13:47:50Z)
• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)
• CLEX: Continuous Length Extrapolation for Large Language Models [68.43814043853347]
  大規模言語モデル(LLM)のためのCLEX(Continuous Longth Extrapolation)を提案する。 CLEXはコンテキストウィンドウを4倍または8倍のトレーニング長に拡張するが、性能は劣化しない。 我々のモデルは4k長でトレーニングされ、最先端のオープンソースモデルに対して最大32k長でトレーニングされた。
  論文  参考訳（メタデータ） (2023-10-25T08:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。