論文の概要: Multi-Model Synthetic Training for Mission-Critical Small Language Models

• arxiv url: http://arxiv.org/abs/2509.13047v1
• Date: Tue, 16 Sep 2025 13:04:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.096192
• Title: Multi-Model Synthetic Training for Mission-Critical Small Language Models
• Title（参考訳）: ミッションクリティカルな小言語モデルのためのマルチモデル合成訓練
• Authors: Nolan Platt, Pragyansmita Nayak,
• Abstract要約: 海上情報に対する261倍のコスト削減を実現する新しい手法を提案する。 提案手法は,320億個の自動識別システム (AIS) の船体追跡記録を21,543個の質問と回答のペアに変換する。 その結果得られた微調整Qwen2.5-7Bモデルは、海事作業において75%の精度を達成し、推論のためにより大きなモデルを使用するよりもかなり安価である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across many domains, yet their appli- cation to specialized fields remains constrained by the scarcity and complexity of domain-specific training data. We present a novel approach that achieves a 261x cost reduction for maritime intelligence by using LLMs as one-time teachers rather than using them directly for inference. Our method transforms 3.2 billion Automatic Identification System (AIS) vessel tracking records into 21,543 synthetic question and answer pairs through multi-model generation (GPT-4o and o3-mini), preventing over- fitting and ensuring accurate reasoning. The resulting fine-tuned Qwen2.5-7B model achieves 75% accuracy on maritime tasks, while being substantially cheaper than using a larger model for inference. We show that smaller, cheaper models - when fine tuned properly - can provide similar accuracy compared to larger models that are prohibitively expensive. Our work contributes to the growing field of synthetic dataset generation for specialized AI applications and presents a highly reproducible framework for domains where manual annotation is infeasible. Beyond expand- ing research in the growing field of specialized small language models, our approach has immediate applications in maritime safety, security operations, and vessel traffic management systems in various industries.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くのドメインで顕著な機能を示しているが、専門分野への適応性は、ドメイン固有のトレーニングデータの不足と複雑さによって制限されている。 本研究では,LLMを推論に直接使用するのではなく,一時期の教師として利用することで,海事インテリジェンスに対する261倍のコスト削減を実現する手法を提案する。 提案手法は,320億件の自動識別システム(AIS)を多モデル生成(GPT-4oおよびo3-mini)により合成質問・回答ペア21,543件に変換し,過度な適合を防止し,正確な推論を確実にする。 その結果得られた微調整Qwen2.5-7Bモデルは、海事作業において75%の精度を達成し、推論のためにより大きなモデルを使用するよりもかなり安価である。 小型で安価なモデル(微調整を適切に行うと)は、高額な大型モデルに比べて精度が良いことを示す。 我々の研究は、特殊なAIアプリケーションのための合成データセット生成の分野の発展に寄与し、手動アノテーションが実現不可能なドメインのための非常に再現性の高いフレームワークを提供する。 特殊小言語モデルの発展分野におけるさらなる研究に加えて, 海洋安全, セキュリティ運用, 各種産業における船舶交通管理システムにも, 即時的応用が期待できる。

関連論文リスト

• Case Studies of Generative Machine Learning Models for Dynamical Systems [0.5499796332553707]
  本稿では,航空機誘導において一般的に理解され,活用される最適制御システムの2つの事例研究に焦点をあてる。 本稿では, 比較的小さな集合, 数百の順序, 基礎となる支配方程式で訓練されたGAIMについて報告する。 新しいモデルは、少量のトレーニングデータにもかかわらず、支配方程式を満たすデータを合成することができ、統計的にトレーニングデータと類似している。
  論文  参考訳（メタデータ） (2025-08-06T13:59:14Z)
• EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
  マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。 提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。 視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-19T16:07:04Z)
• Lightweight Multimodal Artificial Intelligence Framework for Maritime Multi-Scene Recognition [5.667043618885205]
  海中マルチシーン認識は知的海洋ロボットの能力向上に不可欠である。 MLLM(Multimodal Large Language Model)により生成された画像データ、テキスト記述、分類ベクトルを統合する。 我々のモデルは98$%の精度を達成し、以前のSOTAモデルを3.5$%の精度で上回っている。 この研究は、リアルタイムな海洋環境認識のための高性能なソリューションを提供し、リソース制限された環境での環境モニタリングと災害対応を自律表面車両(ASV)がサポートできるようにする。
  論文  参考訳（メタデータ） (2025-03-10T06:47:38Z)
• A Practical Approach to Underwater Depth and Surface Normals Estimation [3.0516727053033392]
  本稿では,単眼深度と表面正規化推定(MDSNE)のための新しいディープラーニングモデルを提案する。 これは特に、CNNとTransformerを統合するハイブリッドアーキテクチャを使用して、水中環境向けに調整されている。 我々のモデルはパラメータを90%削減し、トレーニングコストを80%削減し、リソース制約されたデバイス上でリアルタイムな3D認識を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T22:41:12Z)
• Improving the Capabilities of Large Language Model Based Marketing Analytics Copilots With Semantic Search And Fine-Tuning [0.9787137564521711]
  本稿では, 意味探索, プロンプトエンジニアリング, 微調整を組み合わせることで, LLMのタスクを正確に実行する能力を大幅に向上させることができることを示す。 GPT-4のようなプロプライエタリなモデルと、Llama-2-70bのようなオープンソースのモデル、および様々な埋め込み方法を比較します。
  論文  参考訳（メタデータ） (2024-04-16T03:39:16Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• BYOM: Building Your Own Multi-Task Model For Free [69.63765907216442]
  BYOM-FFTは完全微調整モデルのマージ用であり、BYOM-LoRAはLoRA微調整モデルのマージ用である。 コンピュータビジョンと自然言語処理タスクの実験により、提案手法は既存のマージ手法よりも大きなマージ率で優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-03T08:39:33Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。