論文の概要: LOCUS: A System and Method for Low-Cost Customization for Universal Specialization

• arxiv url: http://arxiv.org/abs/2512.06239v1
• Date: Sat, 06 Dec 2025 01:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.253505
• Title: LOCUS: A System and Method for Low-Cost Customization for Universal Specialization
• Title（参考訳）: LOCUS: ユニバーサルスペシャライゼーションのための低コストカスタマイズシステムと方法
• Authors: Dhanasekar Sundararaman, Keying Li, Wayne Xiong, Aashna Garg,
• Abstract要約: 我々は、NLPモデルの構築とトレーニングを合理化するために、数ショットのデータを消費するパイプラインであるLOCUSを提案する。 ラベル付きサンプルは少ないが、LOCUSは広範なリポジトリで関連するデータを発見し、コンテキスト内データ生成と微調整モデルを通じて追加のトレーニングサンプルを合成する。
• 参考スコア（独自算出の注目度）: 4.151679589098346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present LOCUS (LOw-cost Customization for Universal Specialization), a pipeline that consumes few-shot data to streamline the construction and training of NLP models through targeted retrieval, synthetic data generation, and parameter-efficient tuning. With only a small number of labeled examples, LOCUS discovers pertinent data in a broad repository, synthesizes additional training samples via in-context data generation, and fine-tunes models using either full or low-rank (LoRA) parameter adaptation. Our approach targets named entity recognition (NER) and text classification (TC) benchmarks, consistently outperforming strong baselines (including GPT-4o) while substantially lowering costs and model sizes. Our resultant memory-optimized models retain 99% of fully fine-tuned accuracy while using barely 5% of the memory footprint, also beating GPT-4o on several benchmarks with less than 1% of its parameters.
• Abstract（参考訳）: LOCUS(Low-cost Customization for Universal Specialization)は,NLPモデルの構築とトレーニングを,ターゲット検索,合成データ生成,パラメータ効率チューニングを通じて効率化するパイプラインである。 ラベル付きサンプルは少ないが、LOCUSは広範なリポジトリ内で関連するデータを発見し、コンテキスト内データ生成を通じて追加のトレーニングサンプルを合成し、フルあるいはローランク(LoRA)パラメータアダプションを使用して微調整モデルを生成する。 我々のアプローチは、エンティティ認識(NER)とテキスト分類(TC)ベンチマークを目標とし、コストとモデルサイズを大幅に削減しつつ、強いベースライン(GPT-4oを含む)を一貫して上回ります。 その結果、メモリ最適化モデルは、メモリフットプリントの5%をわずかに使用しながら、完全に調整された精度の99%を保持し、パラメータの1%未満のベンチマークでGPT-4oを上回りました。

関連論文リスト

• TinyLLM: Evaluation and Optimization of Small Language Models for Agentic Tasks on Edge Devices [0.0]
  本稿では,エージェントタスク(機能/ツール/API呼び出し)における小言語モデル(SLM)の有効性について検討する。 本稿では、教師付き微調整(SFT)、パラメータ効率の高い微調整(PEFT)、強化学習(RL)、ハイブリッド手法を含むパラメータ駆動最適化戦略について述べる。 その結果,中規模モデル(1-3Bパラメータ)がウルトラコンパクトモデル(1Bパラメータ)を大幅に上回るモデルスケール間での精度差が明らかとなった。 この研究は、エッジデバイス上で、小さな言語モデルが正確で効率的で安定したエージェントAIを提供できるようにするためのハイブリッド最適化戦略の重要性を強調した。
  論文  参考訳（メタデータ） (2025-11-27T06:09:54Z)
• MLLM-Selector: Necessity and Diversity-driven High-Value Data Selection for Enhanced Visual Instruction Tuning [69.7347209018861]
  視覚的インストラクションのチューニングに有用なデータを自動的に識別するMLLM-Selectorを提案する。 モデル性能を向上させるために,VITデータプールの各サンプルの必要なスコアを算出し,サンプルのピボットを同定する。 以上の結果から,データ選択における必要条件と多様性の混合の重要性が指摘され,MLLMセレクタの創出につながった。
  論文  参考訳（メタデータ） (2025-03-26T12:42:37Z)
• Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
  SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。 SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
  論文  参考訳（メタデータ） (2024-10-24T10:47:30Z)
• AnyMatch -- Efficient Zero-Shot Entity Matching with a Small Language Model [14.097520043673903]
  ゼロショットエンティティマッチングの難解な設定に重点を置いています。 我々は,伝達学習のセットアップで微調整された小さな言語モデルであるAnyMatchを提案する。 AnyMatchは、パラメータが小さいにもかかわらず、競争力のある予測品質を提供します。
  論文  参考訳（メタデータ） (2024-09-06T07:29:01Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning [24.765911297156855]
  FISH-DIPは、少数のパラメータに選択的にフォーカスする、サンプル対応のダイナミックスパース微調整戦略である。 FISH-DIPは、最大40%の性能改善を提供する低リソース設定でモデルをスムーズに最適化できることを実証した。
  論文  参考訳（メタデータ） (2023-11-07T06:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。