論文の概要: Multilevel Large Language Models for Everyone

• arxiv url: http://arxiv.org/abs/2307.13221v1
• Date: Tue, 25 Jul 2023 03:18:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 18:22:59.005991
• Title: Multilevel Large Language Models for Everyone
• Title（参考訳）: 全員のための多レベル大規模言語モデル
• Authors: Yuanhao Gong
• Abstract要約: 大規模な言語モデルはジェネリックなものかフィールド固有なもので、コミュニティを異なるグループに分割する。 本稿では,これらの大規模言語モデルをより大規模なマップに統一し,汎用モデルと特定のモデルが連携する。 提案されたマルチレベルアイデアは、自然言語処理、コンピュータビジョンタスク、プロフェッショナルアシスタント、ビジネス、ヘルスケアなど、さまざまなアプリケーションに適用することができる。
• 参考スコア（独自算出の注目度）: 5.9622541907827875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have made significant progress in the past few years. However, they are either generic {\it or} field specific, splitting the community into different groups. In this paper, we unify these large language models into a larger map, where the generic {\it and} specific models are linked together and can improve each other, based on the user personal input and information from the internet. The idea of linking several large language models together is inspired by the functionality of human brain. The specific regions on the brain cortex are specific for certain low level functionality. And these regions can jointly work together to achieve more complex high level functionality. Such behavior on human brain cortex sheds the light to design the multilevel large language models that contain global level, field level and user level models. The user level models run on local machines to achieve efficient response and protect the user's privacy. Such multilevel models reduce some redundancy and perform better than the single level models. The proposed multilevel idea can be applied in various applications, such as natural language processing, computer vision tasks, professional assistant, business and healthcare.
• Abstract（参考訳）: 大規模な言語モデルはここ数年で大きな進歩を遂げた。 しかし、それらはジェネリック {\it または} フィールド固有であり、コミュニティを異なるグループに分割する。 本稿では,これらの大規模言語モデルを,インターネット上のユーザの個人入力と情報に基づいて,ジェネリックな「it」と「}」のモデルが連結され,相互に改善できる,より大きなマップに統一する。 複数の大きな言語モデルを結合するというアイデアは、人間の脳の機能にインスパイアされている。 脳皮質の特定の領域は特定の低レベルの機能に特異的である。 そして、これらの領域は協調してより複雑な高レベル機能を実現することができる。 このような人間の脳皮質における行動は、グローバルレベル、フィールドレベル、ユーザーレベルモデルを含む多レベル大規模言語モデルを設計する光を遮る。 ユーザレベルのモデルはローカルマシン上で実行され、効率的な応答を実現し、ユーザのプライバシを保護する。 このようなマルチレベルモデルは冗長性を低減し、単一レベルモデルよりも優れた性能を発揮する。 提案されたマルチレベルアイデアは、自然言語処理、コンピュータビジョンタスク、プロフェッショナルアシスタント、ビジネス、ヘルスケアなど、さまざまなアプリケーションに適用することができる。

関連論文リスト

• IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities [4.269326314400742]
  マルチモーダル大言語モデル(MLLM)のための内適応アーキテクチャを導入する。 このアーキテクチャは、大きな言語モデル内の様々な深さで複数のマルチモーダルアダプタを組み込んで、テキスト指向のトランスフォーマー層との直接の相互作用を容易にする。 大規模な整列データを必要とする従来のフリーズ言語モデルとは異なり、提案アーキテクチャは小規模データセットにおいて優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2024-08-23T08:10:13Z)
• Bootstrapping Cognitive Agents with a Large Language Model [0.9971537447334835]
  大規模な言語モデルは、世界の騒々しい一般的な知識を含んでいるが、訓練や微調整は困難である。 この研究では、認知モデルと大きな言語モデルで符号化されたノイズの多い知識をブートストラップで組み合わせます。
  論文  参考訳（メタデータ） (2024-02-25T01:40:30Z)
• Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages [76.35234803589412]
  MPMは、英語以外の言語で大規模なマルチモーダルモデルを訓練するための効果的な訓練パラダイムである。 画像・テキスト・テキスト・画像生成における大規模なマルチモーダルモデルVisCPMを構築し,中国語の最先端(オープンソース)性能を実現する。
  論文  参考訳（メタデータ） (2023-08-23T09:55:41Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
  大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:57:11Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)
• On the Universality of Deep COntextual Language Models [15.218264849664715]
  ELMOやBERTのような深い文脈言語モデル(LM)は、自然言語処理のランドスケープを支配している。 XLM-RやmBERTのような多言語モデルでは、ゼロショットのクロスリンガル転送が期待できる結果となった。 この最初の成功により、訓練済みのモデルはユニバーサル言語モデルとして使用されている。
  論文  参考訳（メタデータ） (2021-09-15T08:00:33Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual Conversational Agent Models [1.52292571922932]
  自然言語理解(NLU)モデルのための汎用多言語モデルフレームワークを提案する。 これらの多言語モデルが,言語固有のテストデータにまたがる単言語モデルと比較して,同等あるいは優れた性能に到達できることを示す。
  論文  参考訳（メタデータ） (2020-12-07T17:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。