論文の概要: Langformers: Unified NLP Pipelines for Language Models

• arxiv url: http://arxiv.org/abs/2504.09170v1
• Date: Sat, 12 Apr 2025 10:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:09.129675
• Title: Langformers: Unified NLP Pipelines for Language Models
• Title（参考訳）: Langformers: 言語モデルのための統一NLPパイプライン
• Authors: Rabindra Lamsal, Maria Rodriguez Read, Shanika Karunasekera,
• Abstract要約: LangformersはオープンソースのPythonライブラリで、NLPパイプラインを合理化するように設計されている。 会話型AI、事前学習、テキスト分類、文の埋め込み/更新、データラベリング、セマンティック検索、知識蒸留を結合型APIに統合する。
• 参考スコア（独自算出の注目度）: 3.690904966341072
• License:
• Abstract: Transformer-based language models have revolutionized the field of natural language processing (NLP). However, using these models often involves navigating multiple frameworks and tools, as well as writing repetitive boilerplate code. This complexity can discourage non-programmers and beginners, and even slow down prototyping for experienced developers. To address these challenges, we introduce Langformers, an open-source Python library designed to streamline NLP pipelines through a unified, factory-based interface for large language model (LLM) and masked language model (MLM) tasks. Langformers integrates conversational AI, MLM pretraining, text classification, sentence embedding/reranking, data labelling, semantic search, and knowledge distillation into a cohesive API, supporting popular platforms such as Hugging Face and Ollama. Key innovations include: (1) task-specific factories that abstract training, inference, and deployment complexities; (2) built-in memory and streaming for conversational agents; and (3) lightweight, modular design that prioritizes ease of use. Documentation: https://langformers.com
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは自然言語処理(NLP)の分野に革命をもたらした。 しかしながら、これらのモデルを使用することで、複数のフレームワークやツールをナビゲートしたり、反復的な定型コードを書いたりすることが多い。 この複雑さは、プログラマでない人や初心者を妨げ、経験豊富な開発者にとってプロトタイピングを遅くする。 これらの課題に対処するため、LangformersというオープンソースのPythonライブラリを導入しました。これは、大規模な言語モデル(LLM)とマスキング言語モデル(MLM)タスクのための統合されたファクトリベースのインターフェースを通じて、NLPパイプラインを合理化するように設計されたオープンソースのPythonライブラリです。 Langformersは会話AI、MLM事前トレーニング、テキスト分類、文の埋め込み/リグレード、データラベリング、セマンティック検索、知識蒸留を結合APIに統合し、Hugging FaceやOllamaといった一般的なプラットフォームをサポートする。 主なイノベーションは、(1)訓練、推論、デプロイメントの複雑さを抽象化するタスク固有のファクトリ、(2)会話エージェントのための内蔵メモリとストリーミング、(3)使いやすさを優先する軽量でモジュール化された設計である。 ドキュメント: https://langformers.com

関連論文リスト

• Chunk-Distilled Language Modeling [25.238256586953487]
  Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。 提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
  論文  参考訳（メタデータ） (2024-12-31T08:32:15Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• Prompt2Model: Generating Deployable Models from Natural Language Instructions [74.19816829003729]
  大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。 言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。 本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
  論文  参考訳（メタデータ） (2023-08-23T17:28:21Z)
• ChatDev: Communicative Agents for Software Development [84.90400377131962]
  ChatDevはチャットを利用したソフトウェア開発フレームワークで、特別なエージェントがコミュニケーション方法についてガイドされる。 これらのエージェントは、統一された言語ベースのコミュニケーションを通じて、設計、コーディング、テストフェーズに積極的に貢献する。
  論文  参考訳（メタデータ） (2023-07-16T02:11:34Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• An Overview on Language Models: Recent Developments and Outlook [32.528770408502396]
  従来の言語モデル(CLM)は、因果的に言語シーケンスの確率を予測することを目的としている。 事前学習言語モデル(PLM)はより広範な概念をカバーし、因果逐次モデリングと下流アプリケーションのための微調整の両方に使用することができる。
  論文  参考訳（メタデータ） (2023-03-10T07:55:00Z)
• Prompting Is Programming: A Query Language for Large Language Models [5.8010446129208155]
  我々はLMP(Language Model Programming)という新しいアイデアを提示する。 LMPは、純粋なテキストプロンプトからテキストプロンプトとスクリプティングの直感的な組み合わせまで、言語モデルを一般化する。 LMQLは、さまざまな最先端のプロンプトメソッドを直感的にキャプチャできることを示す。
  論文  参考訳（メタデータ） (2022-12-12T18:09:09Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• LaoPLM: Pre-trained Language Models for Lao [3.2146309563776416]
  事前訓練された言語モデル(PLM)は、コンテキストにおける異なるレベルの概念をキャプチャし、普遍的な言語表現を生成する。 PTMは、ほとんどのNLPアプリケーションで広く使われているが、Lao NLP研究ではあまり使われていない。 ラオス語の資源管理状況を軽減するために,テキスト分類データセットを構築した。 本稿では,ラオスにおけるトランスフォーマーベースのPTMを,BERT-small,BERT-base,ELECTRA-small,ELECTRA-baseの4つのバージョンで提案する。
  論文  参考訳（メタデータ） (2021-10-12T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。