論文の概要: Combining Language Models For Specialized Domains: A Colorful Approach

• arxiv url: http://arxiv.org/abs/2310.19708v2
• Date: Tue, 31 Oct 2023 08:37:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:04:47.360609
• Title: Combining Language Models For Specialized Domains: A Colorful Approach
• Title（参考訳）: 特殊化ドメインのための言語モデルの組み合わせ:カラーフルアプローチ
• Authors: Daniel Eitan, Menachem Pirchi, Neta Glazer, Shai Meital, Gil Ayach, Aviv Shamsian, Aviv Navon, Gil Hetz, Joseph Keshet
• Abstract要約: ドメイン固有または二次のLMを汎用のLMに統合する新しいアプローチを導入する。 この戦略には、一般またはドメイン固有のLMとの関係を示す各単語のラベル付け、または色付けが含まれる。 色付き単語を含む推論を効果的に処理するビーム探索アルゴリズムを最適化したアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 14.656171561148534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General purpose language models (LMs) encounter difficulties when processing domain-specific jargon and terminology, which are frequently utilized in specialized fields such as medicine or industrial settings. Moreover, they often find it challenging to interpret mixed speech that blends general language with specialized jargon. This poses a challenge for automatic speech recognition systems operating within these specific domains. In this work, we introduce a novel approach that integrates domain-specific or secondary LM into general-purpose LM. This strategy involves labeling, or ``coloring'', each word to indicate its association with either the general or the domain-specific LM. We develop an optimized algorithm that enhances the beam search algorithm to effectively handle inferences involving colored words. Our evaluations indicate that this approach is highly effective in integrating jargon into language tasks. Notably, our method substantially lowers the error rate for domain-specific words without compromising performance in the general domain.
• Abstract（参考訳）: 汎用言語モデル(LM)は、医学や工業などの専門分野でよく使われるドメイン固有の用語や用語を処理する際に困難に直面する。 さらに、一般的な言語と専門用語を混ぜ合わせた混合音声の解釈が困難であることが多い。 これは、これらの特定のドメイン内で動作する自動音声認識システムにとって課題となる。 本稿では,汎用 lm にドメイン固有あるいは二次 lm を統合する新しい手法を提案する。 この戦略には、一般またはドメイン固有のLMとの関係を示す各単語のラベル、または '`coloring' が含まれる。 色付き単語を含む推論を効果的に処理するビーム探索アルゴリズムを最適化したアルゴリズムを開発した。 評価の結果,本手法は言語タスクへのjargonの統合に極めて有効であることが示唆された。 特に,本手法は,一般ドメインの性能を損なうことなく,ドメイン固有の単語の誤り率を大幅に下げる。

関連論文リスト

• Efficient Terminology Integration for LLM-based Translation in Specialized Domains [0.0]
  特許、金融、バイオメディカルドメインなどの専門分野において、用語は翻訳に不可欠である。 本稿では,用語翻訳の精度を保ちながら,少ない量のデータで効率的にモデルを訓練する手法を提案する。 この手法は、専門用語を扱うモデルの能力を高め、高品質な翻訳を保証する。
  論文  参考訳（メタデータ） (2024-10-21T07:01:25Z)
• EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
  本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。 本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。 我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T08:22:00Z)
• LexGen: Domain-aware Multilingual Lexicon Generation [40.97738267067852]
  マルチドメイン設定で6つのインド語のための辞書語を生成する新しいモデルを提案する。 私たちのモデルは、情報をエンコードするドメイン固有層とドメイン生成層で構成されています。 8つの異なるドメインにまたがる6つのインドの言語を対象とした新しいベンチマークデータセットをリリースしました。
  論文  参考訳（メタデータ） (2024-05-18T07:02:43Z)
• Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains [9.600277231719874]
  大規模言語モデル(LLM)は、自然言語の理解と生成に顕著な能力を示した。 本研究は、汎用LLMを特殊領域の効率的なタスク解決器に再利用する方法を探求する。
  論文  参考訳（メタデータ） (2024-02-06T20:11:54Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• Seed Words Based Data Selection for Language Model Adaptation [11.59717828860318]
  本稿では,テキストコーパスから文を自動的に選択する手法を提案する。 ベースラインモデルの語彙は拡張・調整され、OOVレートが低下する。 異なる測定値(OOVレート, WER, 精度, リコール)を用いて, 提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-07-20T12:08:27Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。