論文の概要: ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining

• arxiv url: http://arxiv.org/abs/2507.06795v2
• Date: Thu, 10 Jul 2025 07:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 12:24:00.093457
• Title: ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining
• Title（参考訳）: ixi-GEN:ドメイン適応型連続事前学習による効率的な産業用sLLM
• Authors: Seonwu Kim, Yohan Na, Kihun Kim, Hanhee Cho, Geun Lim, Mintae Kim, Seongik Park, Ki Hyun Kim, Youngsub Han, Byoung-Ki Jeon,
• Abstract要約: オープンソースの大規模言語モデル(LLM)は、エンタープライズアプリケーションにチャンスを広げました。 多くの組織は、大規模なモデルをデプロイし、メンテナンスするインフラをまだ持っていない。 小型LLM(sLLM)は、固有の性能制限にもかかわらず、実用的な代替品となっている。
• 参考スコア（独自算出の注目度）: 3.23679178774858
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The emergence of open-source large language models (LLMs) has expanded opportunities for enterprise applications; however, many organizations still lack the infrastructure to deploy and maintain large-scale models. As a result, small LLMs (sLLMs) have become a practical alternative, despite their inherent performance limitations. While Domain Adaptive Continual Pretraining (DACP) has been previously explored as a method for domain adaptation, its utility in commercial applications remains under-examined. In this study, we validate the effectiveness of applying a DACP-based recipe across diverse foundation models and service domains. Through extensive experiments and real-world evaluations, we demonstrate that DACP-applied sLLMs achieve substantial gains in target domain performance while preserving general capabilities, offering a cost-efficient and scalable solution for enterprise-level deployment.
• Abstract（参考訳）: オープンソースの大規模言語モデル(LLM)の出現は、エンタープライズアプリケーションのための機会を拡大してきたが、大規模なモデルをデプロイし、維持するためのインフラがまだ不足している組織も多い。 その結果,小型LLM (sLLMs) が本質的な性能制限にもかかわらず,実用的な代替品となった。 ドメイン適応型連続事前学習(DACP)は、これまでドメイン適応の手法として検討されてきたが、商用アプリケーションにおけるその実用性は未検討のままである。 本研究では,DACPをベースとしたレシピを,多様な基礎モデルやサービスドメインに適用するの有効性を検証した。 DACPを応用したsLLMは、広範な実験と実世界の評価を通じて、汎用性を保ちながら、ターゲットドメインの性能を大幅に向上し、エンタープライズレベルのデプロイメントにコスト効率が高くスケーラブルなソリューションを提供することを示した。

関連論文リスト

• CLIP-Powered Domain Generalization and Domain Adaptation: A Comprehensive Survey [38.281260447611395]
  この調査は、ドメイン一般化(DG)とドメイン適応(DA)におけるコントラスト言語-画像事前学習(CLIP)の適用を体系的に検討する。 CLIPは、モデルが見えないドメインで効果的に実行できる強力なゼロショット機能を提供する。 オーバーフィッティング、ドメインの多様性、計算効率といった主な課題に対処する。
  論文  参考訳（メタデータ） (2025-04-19T12:27:24Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• Demystifying Domain-adaptive Post-training for Financial LLMs [79.581577578952]
  FINDAPは、大規模言語モデル(LLM)のドメイン適応後学習に関する体系的できめ細かな研究である このアプローチは、FinCap、FinRec、FinTrain、FinEvalの4つの重要なコンポーネントで構成されています。 結果として得られるモデルであるLlama-Finは、幅広い財務タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-09T04:26:15Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• DOLLmC: DevOps for Large Language model Customization [0.0]
  本研究の目的は、LLMカスタマイズのためのスケーラブルで効率的なフレームワークを確立することである。 我々は,LLMの継続的学習,シームレスな展開,厳密なバージョン管理を向上する堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T15:20:27Z)
• Efficient Continual Pre-training for Building Domain Specific Large Language Models [8.799785664150255]
  大規模言語モデル(LLM)は、驚くべきオープンドメイン機能を示している。 伝統的に、ドメイン用に調整されたLLMは、ドメイン固有のタスクを扱うために、ゼロから訓練される。 ファイナンシャルドメイン上でのドメイン適応型継続事前トレーニングにより開発されたFinPythia-6.9Bを紹介する。
  論文  参考訳（メタデータ） (2023-11-14T21:19:14Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Universal Source-Free Domain Adaptation [57.37520645827318]
  ドメイン適応のための新しい2段階学習プロセスを提案する。 Procurementの段階では、今後のカテゴリギャップやドメインシフトに関する事前知識を前提とせず、将来的なソースフリーデプロイメントのためのモデルの提供を目標としています。 Deploymentの段階では、幅広いカテゴリギャップをまたいで動作可能な統一適応アルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2020-04-09T07:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。