論文の概要: StreamAdapter: Efficient Test Time Adaptation from Contextual Streams
- arxiv url: http://arxiv.org/abs/2411.09289v1
- Date: Thu, 14 Nov 2024 09:03:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 15:25:23.191274
- Title: StreamAdapter: Efficient Test Time Adaptation from Contextual Streams
- Title（参考訳）: StreamAdapter: コンテキストストリームからの効率的なテスト時間適応
- Authors: Dilxat Muhtar, Yelong Shen, Yaming Yang, Xiaodong Liu, Yadong Lu, Jianfeng Liu, Yuefeng Zhan, Hao Sun, Weiwei Deng, Feng Sun, Xueliang Zhang, Jianfeng Gao, Weizhu Chen, Qi Zhang,
- Abstract要約: In-context Learning (ICL)は、大きな言語モデルで、勾配更新を必要とせずに、与えられたデモから直接新しいタスクに適応することができる。
テスト時にコンテキストからモデルパラメータを直接更新する新しいアプローチであるStreamAdapterを提案する。
- 参考スコア（独自算出の注目度）: 99.08657973288913
- License:
- Abstract: In-context learning (ICL) allows large language models (LLMs) to adapt to new tasks directly from the given demonstrations without requiring gradient updates. While recent advances have expanded context windows to accommodate more demonstrations, this approach increases inference costs without necessarily improving performance. To mitigate these issues, We propose StreamAdapter, a novel approach that directly updates model parameters from context at test time, eliminating the need for explicit in-context demonstrations. StreamAdapter employs context mapping and weight absorption mechanisms to dynamically transform ICL demonstrations into parameter updates with minimal additional parameters. By reducing reliance on numerous in-context examples, StreamAdapter significantly reduce inference costs and allows for efficient inference with constant time complexity, regardless of demonstration count. Extensive experiments across diverse tasks and model architectures demonstrate that StreamAdapter achieves comparable or superior adaptation capability to ICL while requiring significantly fewer demonstrations. The superior task adaptation and context encoding capabilities of StreamAdapter on both language understanding and generation tasks provides a new perspective for adapting LLMs at test time using context, allowing for more efficient adaptation across scenarios and more cost-effective inference
- Abstract（参考訳）: インコンテキスト学習(ICL)により、大きな言語モデル(LLM)は、勾配更新を必要とせずに、与えられたデモから直接新しいタスクに適応することができる。
最近の進歩では、より多くのデモに対応するためにコンテキストウィンドウが拡張されているが、このアプローチは、必ずしもパフォーマンスを改善することなく、推論コストを増大させる。
これらの問題を緩和するために、テスト時にコンテキストからモデルパラメータを直接更新する新しいアプローチであるStreamAdapterを提案する。
StreamAdapterはコンテキストマッピングと重量吸収機構を使用して、ICLのデモを最小限の追加パラメータでパラメータ更新に動的に変換する。
多数のコンテキスト内サンプルへの依存を減らすことで、StreamAdapterは推論コストを著しく削減し、デモ数に関係なく、一定時間の複雑さを伴う効率的な推論を可能にします。
多様なタスクやモデルアーキテクチャにわたる大規模な実験は、StreamAdapterがICLに匹敵する、あるいは優れた適応能力を達成し、デモをはるかに少なくすることを示した。
言語理解と生成タスクの両方において、StreamAdapterの優れたタスク適応とコンテキスト符号化機能は、コンテキストを使用してテスト時にLLMを適用するための新しい視点を提供する。
関連論文リスト
- Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - CROME: Cross-Modal Adapters for Efficient Multimodal LLM [28.337072921099494]
MLLM(Multimodal Large Language Models)は、画像言語機能を示す。
既存のアプローチは、しばしば高価な言語モデルの再訓練と限定的な適応性を必要とする。
本稿では,効率的な視覚言語命令チューニングフレームワークCROMEを提案する。
論文 参考訳（メタデータ） (2024-08-13T03:45:11Z) - Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。
本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
論文 参考訳（メタデータ） (2024-04-17T09:39:07Z) - Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。
提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。
視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文 参考訳（メタデータ） (2024-03-18T08:00:23Z) - Meta-Learning the Difference: Preparing Large Language Models for
Efficient Adaptation [11.960178399478718]
大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。
その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
論文 参考訳（メタデータ） (2022-07-07T18:00:22Z) - Parameter-Efficient Image-to-Video Transfer Learning [66.82811235484607]
様々な下流タスクのための大規模な事前訓練されたモデルが、最近、有望なパフォーマンスで登場した。
モデルのサイズが拡大しているため、モデルトレーニングや記憶の面では、標準のフルチューニングベースのタスク適応戦略がコストがかかる。
本稿では,ビデオタスク毎のパラメータ効率の高い微調整のための新しいスペーシ・アダプタを提案する。
論文 参考訳（メタデータ） (2022-06-27T18:02:29Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z) - CLIP-Adapter: Better Vision-Language Models with Feature Adapters [79.52844563138493]
即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。
本稿では,CLIP-Adapterを提案する。
様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2021-10-09T11:39:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。