論文の概要: Language Models are Universal Embedders

• arxiv url: http://arxiv.org/abs/2310.08232v1
• Date: Thu, 12 Oct 2023 11:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 11:40:31.731589
• Title: Language Models are Universal Embedders
• Title（参考訳）: 言語モデルは普遍的な埋め込みである
• Authors: Xin Zhang, Zehan Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Meishan Zhang, Min Zhang
• Abstract要約: 事前学習されたトランスフォーマーデコーダは、限定的な英語データに基づいて微調整された場合、普遍的に埋め込み可能であることを示す。 我々のモデルは、最小限のトレーニングデータにより、異なる埋め込みタスクにおける競争性能を達成する。 これらの結果は、強力な統合インバータを構築するための有望な道の証となる。
• 参考スコア（独自算出の注目度）: 48.12992614723464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the large language model (LLM) revolution, embedding is a key component of various systems. For example, it is used to retrieve knowledge or memories for LLMs, to build content moderation filters, etc. As such cases span from English to other natural or programming languages, from retrieval to classification and beyond, it is desirable to build a unified embedding model rather than dedicated ones for each scenario. In this work, we make an initial step towards this goal, demonstrating that multiple languages (both natural and programming) pre-trained transformer decoders can embed universally when finetuned on limited English data. We provide a comprehensive practice with thorough evaluations. On English MTEB, our models achieve competitive performance on different embedding tasks by minimal training data. On other benchmarks, such as multilingual classification and code search, our models (without any supervision) perform comparably to, or even surpass heavily supervised baselines and/or APIs. These results provide evidence of a promising path towards building powerful unified embedders that can be applied across tasks and languages.
• Abstract（参考訳）: 大きな言語モデル(LLM)革命において、埋め込みは様々なシステムの重要な構成要素である。 例えば、LLMの知識や記憶を検索したり、コンテンツモデレーションフィルタを構築するために使われる。 このようなケースは英語から他の自然言語やプログラミング言語、検索から分類に至るまで、それぞれのシナリオに専用のものではなく統合的な埋め込みモデルを構築することが望ましい。 本稿では,この目標に向けて最初の一歩を踏み出し,複数の言語(自然言語とプログラミング)で事前学習されたトランスフォーマデコーダが,限定された英語データに微調整された場合に普遍的に埋め込めることを実証する。 徹底的な評価を伴う総合的な実践を提供する。 英語のMTEBでは、最小限のトレーニングデータを用いて、異なる埋め込みタスクにおける競合性能を実現する。 マルチリンガル分類やコード検索のような他のベンチマークでは、我々のモデルは(監督なしで)相互に、あるいは非常に監督されたベースラインやAPIを超越している。 これらの結果は、タスクや言語にまたがって適用可能な強力な統合埋め込み子を構築するための有望な道の証拠を提供する。

関連論文リスト

• GenCodeSearchNet: A Benchmark Test Suite for Evaluating Generalization in Programming Language Understanding [5.9535699822923]
  我々は,言語モデルの言語理解能力を評価するために,GenCodeSearchNet (GeCS) という新しいベンチマークデータセットを提案する。 完全なデータセットの一部として、我々が導入した新しい手作業でキュレートされたサブセットであるStatCodeSearchは、人気があるが、これまでのところあまり表現されていないプログラミング言語である。 評価と比較のために、細調整されたBERTスタイルモデルとGPTスタイルの大規模言語モデルを用いて、いくつかのベースライン結果を収集した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:00Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• On the Universality of Deep COntextual Language Models [15.218264849664715]
  ELMOやBERTのような深い文脈言語モデル(LM)は、自然言語処理のランドスケープを支配している。 XLM-RやmBERTのような多言語モデルでは、ゼロショットのクロスリンガル転送が期待できる結果となった。 この最初の成功により、訓練済みのモデルはユニバーサル言語モデルとして使用されている。
  論文  参考訳（メタデータ） (2021-09-15T08:00:33Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Automated Source Code Generation and Auto-completion Using Deep Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
  本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。 それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
  論文  参考訳（メタデータ） (2020-09-16T15:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。