論文の概要: Shifting Long-Context LLMs Research from Input to Output

• arxiv url: http://arxiv.org/abs/2503.04723v1
• Date: Thu, 06 Mar 2025 18:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:01:29.627196
• Title: Shifting Long-Context LLMs Research from Input to Output
• Title（参考訳）: 長期LLM研究の入力から出力へのシフト
• Authors: Yuhao Wu, Yushi Bai, Zhiqing Hu, Shangqing Tu, Ming Shan Hee, Juanzi Li, Roy Ka-Wei Lee,
• Abstract要約: 本稿は,NLP研究におけるパラダイムシフトの提唱である。 小説の執筆、長期計画、複雑な推論といったタスクは、広範囲のコンテキストを理解し、一貫性があり、文脈的にリッチで論理的に一貫した拡張テキストを生成するモデルを必要とする。 我々は、この未探索領域の重要性を強調し、高品質で長期のアウトプットを生み出すのに適した基礎的LLMの開発に焦点をあてる。
• 参考スコア（独自算出の注目度）: 32.227507695283144
• License:
• Abstract: Recent advancements in long-context Large Language Models (LLMs) have primarily concentrated on processing extended input contexts, resulting in significant strides in long-context comprehension. However, the equally critical aspect of generating long-form outputs has received comparatively less attention. This paper advocates for a paradigm shift in NLP research toward addressing the challenges of long-output generation. Tasks such as novel writing, long-term planning, and complex reasoning require models to understand extensive contexts and produce coherent, contextually rich, and logically consistent extended text. These demands highlight a critical gap in current LLM capabilities. We underscore the importance of this under-explored domain and call for focused efforts to develop foundational LLMs tailored for generating high-quality, long-form outputs, which hold immense potential for real-world applications.
• Abstract（参考訳）: 近年のLong-context Large Language Models (LLM) の進歩は、主に拡張された入力コンテキストの処理に集中しており、長文理解において大きな進歩をもたらしている。 しかし、長大な出力を生成するという等しく重要な側面は、比較的あまり注目されていない。 本稿では,NLP研究のパラダイムシフトを提唱し,長出力化の課題に対処する。 小説の執筆、長期計画、複雑な推論といったタスクは、広範囲のコンテキストを理解し、一貫性があり、文脈的にリッチで論理的に一貫した拡張テキストを生成するモデルを必要とする。 これらの要求は、現在のLLM機能における重要なギャップを浮き彫りにする。 我々は、この未探索領域の重要性を過小評価し、現実世界のアプリケーションにとって大きな可能性を秘めている高品質の長期出力を生成するのに適した基礎的なLCMを開発することに注力することを求める。

関連論文リスト

• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• Reducing Distraction in Long-Context Language Models by Focused Learning [6.803882766744194]
  本稿では,大規模言語モデルの関連情報を識別する能力を高める新しい学習手法を提案する。 長いコンテキストで微調整を行う際、最も関連性の高いセグメントを抽出するために検索器を用いる。 次に、元のコンテキストと検索したサブコンテキストからの出力が密接に一致していることを明確にするために、補助的なコントラスト学習対象を導入する。
  論文  参考訳（メタデータ） (2024-11-08T19:27:42Z)
• FltLM: An Intergrated Long-Context Large Language Model for Effective Context Filtering and Understanding [32.197113821638936]
  我々は,新しいLong-Context Large Language Model (FltLM)を提案する。 FltLMはコンテキストフィルタをソフトマスク機構に組み込み、関連する情報に集中するために無関係な内容を特定し、動的に排除する。 実験の結果,複雑なQAシナリオにおいて,FltLMは教師付き微調整法や検索法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-09T13:47:50Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  NovelQAは拡張テキストによる大規模言語モデルの能力をテストするために設計されたベンチマークである。 本稿では,ノベルQAの設計と構築について述べる。 NovelQAにおけるLong-context LLMの評価により,モデルの性能に関する重要な知見が得られた。
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• The What, Why, and How of Context Length Extension Techniques in Large Language Models -- A Detailed Survey [6.516561905186376]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)における顕著なブレークスルーを表している。 本研究では,文脈長の延長に伴う固有の課題について検討し,研究者が採用した既存戦略の概要を整理した。 評価基準について,研究コミュニティ内に合意が存在するか検討し,さらに合意が必要な分野を特定する。
  論文  参考訳（メタデータ） (2024-01-15T18:07:21Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。