論文の概要: StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses

• arxiv url: http://arxiv.org/abs/2403.08312v1
• Date: Wed, 13 Mar 2024 07:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 15:16:08.835009
• Title: StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses
• Title（参考訳）: StreamingDialogue:Long Contextによる長期対話学習 最小損失による圧縮
• Authors: Jia-Nan Li, Quan Tu, Cunli Mao, Zhengtao Yu, Ji-Rong Wen, Rui Yan
• Abstract要約: StreamingDialogueは長い対話履歴を最小限の損失でconv-attnシンクに圧縮する。 本手法は,高密度注意再計算と比較してメモリ使用率を18ドル削減しつつ,4$times$の高速化を実現している。
• 参考スコア（独自算出の注目度）: 71.97541246814818
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Standard Large Language Models (LLMs) struggle with handling dialogues with long contexts due to efficiency and consistency issues. According to our observation, dialogue contexts are highly structured, and the special token of \textit{End-of-Utterance} (EoU) in dialogues has the potential to aggregate information. We refer to the EoU tokens as ``conversational attention sinks'' (conv-attn sinks). Accordingly, we introduce StreamingDialogue, which compresses long dialogue history into conv-attn sinks with minimal losses, and thus reduces computational complexity quadratically with the number of sinks (i.e., the number of utterances). Current LLMs already demonstrate the ability to handle long context window, e.g., a window size of 200k or more. To this end, by compressing utterances into EoUs, our method has the potential to handle more than 200k of utterances, resulting in a prolonged dialogue learning. In order to minimize information losses from reconstruction after compression, we design two learning strategies of short-memory reconstruction (SMR) and long-memory reactivation (LMR). Our method outperforms strong baselines in dialogue tasks and achieves a 4 $\times$ speedup while reducing memory usage by 18 $\times$ compared to dense attention recomputation.
• Abstract（参考訳）: 標準大言語モデル(LLM)は、効率性と一貫性の問題により、長いコンテキストで対話を扱うのに苦労する。 我々の観察によれば、対話コンテキストは高度に構造化されており、対話における‘textit{End-of-Utterance}(EoU)’の特別なトークンは、情報を集約する可能性がある。 我々は、EoUトークンを ``conversational attention sinks'' (conv-attn sinks) と呼ぶ。 このため,長い対話履歴を最小限の損失でconv-attnシンクに圧縮するStreamingDialogueを導入する。 現在のLLMは、例えば、200k以上のウィンドウサイズで、長いコンテキストウインドウを処理できることをすでに示しています。 この目的のために,EoUに発話を圧縮することにより,200k以上の発話を処理できる可能性があり,長大な対話学習がもたらされる。 圧縮後の再構成からの情報損失を最小限に抑えるため, 短期記憶再構成(SMR)と長期記憶再活性化(LMR)の2つの学習戦略を設計した。 本手法は,対話タスクにおいて高いベースラインを達成し,メモリ使用率を18ドルに抑えながら4$\times$の高速化を実現している。

関連論文リスト

• IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
  IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。 我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。 我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
  論文  参考訳（メタデータ） (2024-10-09T05:04:31Z)
• Recurrent Context Compression: Efficiently Expanding the Context Window of LLM [22.595457889113668]
  この研究はRecurrent Context Compression (RCC)と呼ばれる手法を導入し、Transformerベースの大規模言語モデル(LLM)のコンテキストウィンドウ長を効率的に拡張する。 我々は,複数のタスクに対するアプローチを検証し,BLEU4スコアが0.95に近いテキスト再構成タスクで最大32倍の圧縮率を実現し,シーケンス長1Mのパスキー検索タスクで約100%の精度を実現した。
  論文  参考訳（メタデータ） (2024-06-10T08:50:59Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• Re$^3$Dial: Retrieve, Reorganize and Rescale Dialogue Corpus for Long-Turn Open-Domain Dialogue Pre-training [90.3412708846419]
  既存の事前学習コーパスのほとんどの対話は、3回未満の対話を含む。 数十億ドル規模のロングターン対話を自動的に構築するRetrieve, Reorganize, Rescale framework (Re$3$Dial)を提案する。 上記のプロセスを繰り返すことで、Re$3$Dialはコヒーレントなロングターン対話をもたらすことができる。
  論文  参考訳（メタデータ） (2023-05-04T07:28:23Z)
• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。