論文の概要: TroL: Traversal of Layers for Large Language and Vision Models

• arxiv url: http://arxiv.org/abs/2406.12246v1
• Date: Tue, 18 Jun 2024 03:42:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 22:49:04.311460
• Title: TroL: Traversal of Layers for Large Language and Vision Models
• Title（参考訳）: TroL: 大規模言語とビジョンモデルのためのレイヤのトラバース
• Authors: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro,
• Abstract要約: 大言語とビジョンモデル(LLVM)は、大言語モデル(LLM)の一般化力によって駆動されている。 GPT-4VのようなクローズドソースLLVMと互換性のある既存のオープンソースLLVMは、大きすぎると考えられていることが多い。 1.8B, 3.8B, 7B LLMモデルサイズ, Traversal of Layers (TroL) を持つLLVMファミリーを新たに提案する。 我々は、TroLが単純な層トラバースアプローチを採用しているが、より大きなモデルサイズを持つオープンソースのLLVMよりも効率的に性能を向上することを示した。
• 参考スコア（独自算出の注目度）: 39.31786216877119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language and vision models (LLVMs) have been driven by the generalization power of large language models (LLMs) and the advent of visual instruction tuning. Along with scaling them up directly, these models enable LLVMs to showcase powerful vision language (VL) performances by covering diverse tasks via natural language instructions. However, existing open-source LLVMs that perform comparably to closed-source LLVMs such as GPT-4V are often considered too large (e.g., 26B, 34B, and 110B parameters), having a larger number of layers. These large models demand costly, high-end resources for both training and inference. To address this issue, we present a new efficient LLVM family with 1.8B, 3.8B, and 7B LLM model sizes, Traversal of Layers (TroL), which enables the reuse of layers in a token-wise manner. This layer traversing technique simulates the effect of looking back and retracing the answering stream while increasing the number of forward propagation layers without physically adding more layers. We demonstrate that TroL employs a simple layer traversing approach yet efficiently outperforms the open-source LLVMs with larger model sizes and rivals the performances of the closed-source LLVMs with substantial sizes.
• Abstract（参考訳）: 大規模言語と視覚モデル(LLVM)は、大規模言語モデル(LLM)の一般化力と視覚的インストラクションチューニングの出現によって駆動されている。 これらのモデルを直接スケールアップすることで、LLVMはさまざまなタスクを自然言語命令でカバーすることで、強力なビジョン言語(VL)のパフォーマンスを誇示することができる。 しかし、GPT-4VのようなクローズドソースのLLVMと互換性のある既存のLLVMは、層数が多すぎる(例:26B、34B、110Bパラメータ)。 これらの大きなモデルは、トレーニングと推論の両方に費用がかかるハイエンドのリソースを必要とします。 この問題に対処するため、トークン的にレイヤを再利用可能な、1.8B, 3.8B, 7B LLMモデルサイズを持つLLVMファミリー、Traversal of Layers (TroL)を提案する。 この層トラバース技術は、応答ストリームを振り返り、追跡する効果をシミュレートし、さらに多くの層を追加せずに前方伝播層の数を増やします。 我々は,TroLが単純なレイヤトラバースアプローチを採用しながら,より大きなモデルサイズでオープンソースLLVMを効率よく上回り,かなりのサイズでクローズドソースLLVMのパフォーマンスに匹敵することを示した。

関連論文リスト

• MoAI: Mixture of All Intelligence for Large Language and Vision Models [42.182009352159]
  Mixture of All Intelligence (MoAI)は、命令調整型大規模言語および視覚モデル(LLVM)である。 MoAIは外部セグメンテーション、検出、SGG、OCRモデルの出力から得られる補助的な視覚情報を使用する。 MoAIは、多数のゼロショットビジョン言語(VL)タスクにおいて、オープンソースとクローズドソースのLLVMの両方を著しく上回っている。
  論文  参考訳（メタデータ） (2024-03-12T10:44:13Z)
• ShortGPT: Layers in Large Language Models are More Redundant Than You Expect [39.791695729504006]
  LLM(Large Language Models)の多くの層は高い類似性を示し、いくつかの層はネットワーク機能において無視できる役割を担っている。 レイヤ除去という,冗長なレイヤを直接削除する,簡単なプルーニング手法を提案する。 実験により,我々はShortGPT(ショートGPT)と呼ぶ手法を,モデルプルーニングにおける従来のSOTA(State-of-the-art)手法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2024-03-06T17:04:18Z)
• Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
  マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。 本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。 最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
  論文  参考訳（メタデータ） (2024-02-27T08:27:15Z)
• Why Lift so Heavy? Slimming Large Language Models by Cutting Off the Layers [2.1165011830664673]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対処する際、優れた能力を持っている。 これらのモデルの厳密なサイズは、ストレージ、トレーニング、推論において、層積み重ねによる数十億のパラメータを含むため、課題を生じさせる。 レイヤが少なくても、LLMは、特にテキスト分類タスクのプロンプトベースの微調整において、類似またはより良いパフォーマンスレベルを維持していることを示す。
  論文  参考訳（メタデータ） (2024-02-18T20:47:10Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)
• Joint Prompt Optimization of Stacked LLMs using Variational Inference [66.04409787899583]
  大規模言語モデル(LLM)は、列上の分布への計算マッピングシーケンスの原子単位と見なすことができる。 そのような2つのレイヤを積み重ねて1つのレイヤの出力を次のレイヤに供給することで、Deep Language Network(DLN)を得る。 DLN-2は単一層よりも高い性能に到達できることを示し、GPT-4に匹敵する性能に達することを約束する。
  論文  参考訳（メタデータ） (2023-06-21T18:45:56Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。