論文の概要: Large Concept Models: Language Modeling in a Sentence Representation Space

• arxiv url: http://arxiv.org/abs/2412.08821v2
• Date: Sun, 15 Dec 2024 21:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:50.671800
• Title: Large Concept Models: Language Modeling in a Sentence Representation Space
• Title（参考訳）: 大規模概念モデル:文表現空間における言語モデリング
• Authors: LCM team, Loïc Barrault, Paul-Ambroise Duquenne, Maha Elbayad, Artyom Kozhevnikov, Belen Alastruey, Pierre Andrews, Mariano Coria, Guillaume Couairon, Marta R. Costa-jussà, David Dale, Hady Elsahar, Kevin Heffernan, João Maria Janeiro, Tuan Tran, Christophe Ropers, Eduardo Sánchez, Robin San Roman, Alexandre Mourachko, Safiyyah Saleem, Holger Schwenk,
• Abstract要約: 本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
• 参考スコア（独自算出の注目度）: 62.73366944266477
• License:
• Abstract: LLMs have revolutionized the field of artificial intelligence and have emerged as the de-facto tool for many tasks. The current established technology of LLMs is to process input and generate output at the token level. This is in sharp contrast to humans who operate at multiple levels of abstraction, well beyond single words, to analyze information and to generate creative content. In this paper, we present an attempt at an architecture which operates on an explicit higher-level semantic representation, which we name a concept. Concepts are language- and modality-agnostic and represent a higher level idea or action in a flow. Hence, we build a "Large Concept Model". In this study, as proof of feasibility, we assume that a concept corresponds to a sentence, and use an existing sentence embedding space, SONAR, which supports up to 200 languages in both text and speech modalities. The Large Concept Model is trained to perform autoregressive sentence prediction in an embedding space. We explore multiple approaches, namely MSE regression, variants of diffusion-based generation, and models operating in a quantized SONAR space. These explorations are performed using 1.6B parameter models and training data in the order of 1.3T tokens. We then scale one architecture to a model size of 7B parameters and training data of about 2.7T tokens. We perform an experimental evaluation on several generative tasks, namely summarization and a new task of summary expansion. Finally, we show that our model exhibits impressive zero-shot generalization performance to many languages, outperforming existing LLMs of the same size. The training code of our models is freely available.
• Abstract（参考訳）: LLMは人工知能の分野に革命をもたらし、多くのタスクのデファクトツールとして登場した。 LLMの現在の確立された技術は、入力を処理し、トークンレベルで出力を生成することである。 これは、情報を分析し、創造的なコンテンツを生成するために、単一の単語を超えて、複数のレベルの抽象化で操作する人間とは、非常に対照的である。 本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 したがって、我々は「大規模概念モデル」を構築します。 本研究では,ある概念が文に対応することを前提として,テキストと音声の両モードで最大200言語をサポートする既存の文埋め込み空間であるSONARを使用する。 大きな概念モデルは、埋め込み空間で自己回帰的な文予測を行うように訓練されている。 我々は、MSE回帰、拡散ベース生成の変種、量子化されたSONAR空間で動作するモデルなど、複数のアプローチについて検討する。 これらの探索は1.6Bパラメータモデルと1.3Tトークンの順序でトレーニングデータを用いて行われる。 次に、1つのアーキテクチャを7Bパラメータのモデルサイズにスケールし、約2.7Tトークンのデータをトレーニングします。 我々は,複数の生成タスク,すなわち要約と要約拡張の新しいタスクを実験的に評価した。 最後に,本モデルでは,多くの言語に対して,ゼロショット一般化性能が優れており,同一サイズの既存LLMよりも優れていたことを示す。 私たちのモデルのトレーニングコードは無償で利用可能です。

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Code Representation Learning At Scale [75.04686476303436]
  2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。 まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。 そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
  論文  参考訳（メタデータ） (2024-02-02T22:19:15Z)
• Kosmos-2: Grounding Multimodal Large Language Models to the World [107.27280175398089]
  マルチモーダル大言語モデル(MLLM)であるKosmos-2を紹介する。 オブジェクト記述(例えば、バウンディングボックス)の認識と、視覚の世界へのテキストの接地を可能にする。 コードと事前訓練されたモデルはhttps://aka.ms/kosmos-2.comで入手できる。
  論文  参考訳（メタデータ） (2023-06-26T16:32:47Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction [8.066349353140819]
  単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。 モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。 本モデルは,両サブタスクの上位10システムにランクインした。
  論文  参考訳（メタデータ） (2021-05-12T09:27:46Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。