論文の概要: LAMDAS: LLM as an Implicit Classifier for Domain-specific Data Selection

• arxiv url: http://arxiv.org/abs/2509.06524v1
• Date: Mon, 08 Sep 2025 10:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.065116
• Title: LAMDAS: LLM as an Implicit Classifier for Domain-specific Data Selection
• Title（参考訳）: LAMDAS: ドメイン固有のデータ選択のための暗黙分類器としてのLLM
• Authors: Jian Wu, Hang Yu, Bingchang Liu, Wenjie Yang, Peng Di, Jianguo Li, Yue Zhang,
• Abstract要約: 大きな言語モデル(LLM)を特定のドメインに適用することは、しばしば重大なボトルネックに直面します。 類似性に基づく直接最適化手法として分類された既存の手法は、これらの目標を同時に達成するのに苦労する。 LAMDASは,学習済みLLM自体を暗黙の分類器として活用する新しい手法である。
• 参考スコア（独自算出の注目度）: 32.35731324386828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting large language models (LLMs) to specific domains often faces a critical bottleneck: the scarcity of high-quality, human-curated data. While large volumes of unchecked data are readily available, indiscriminately using them for fine-tuning risks introducing noise and degrading performance. Strategic data selection is thus crucial, requiring a method that is both accurate and efficient. Existing approaches, categorized as similarity-based and direct optimization methods, struggle to simultaneously achieve these goals. In this paper, we introduce LAMDAS (LLM As an iMplicit classifier for domain-specific DAta Selection), a novel approach that leverages the pre-trained LLM itself as an implicit classifier, thereby bypassing explicit feature engineering and computationally intensive optimization process. LAMDAS reframes data selection as a one-class classification problem, identifying candidate data that "belongs" to the target domain defined by a small reference dataset. Extensive experimental results demonstrate that LAMDAS not only exceeds the performance of full-data training using a fraction of the data but also outperforms nine state-of-the-art (SOTA) baselines under various scenarios. Furthermore, LAMDAS achieves the most compelling balance between performance gains and computational efficiency compared to all evaluated baselines.
• Abstract（参考訳）: 大きな言語モデル(LLM)を特定のドメインに適用することは、しばしば重大なボトルネックに直面します。 大量の未確認データは容易に手に入るが、ノイズや劣化性能をもたらす微調整のリスクに無差別に使用する。 したがって、戦略的なデータ選択は重要であり、正確かつ効率的な方法が必要である。 類似性に基づく直接最適化手法として分類された既存の手法は、これらの目標を同時に達成するのに苦労する。 本稿では,LAMDAS (LLM as an iMplicit classifier for domain-specific DAta Selection) を導入する。 LAMDASはデータ選択を1クラスの分類問題として再設定し、小さな参照データセットで定義されたターゲットドメインに"長い"候補データを特定する。 LAMDASはデータのごく一部を用いたフルデータトレーニングの性能を上回るだけでなく、様々なシナリオ下でのSOTA(State-of-the-art)ベースラインを9つ上回る結果が得られた。 さらに、LAMDASは、評価された全てのベースラインと比較して、パフォーマンスゲインと計算効率の最も強いバランスを達成する。

関連論文リスト

• Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap [13.89078939095465]
  本稿では,DPOの暗黙的な報酬機構を基盤とした,嗜好データセットの難易度に基づく新たなデータ選択手法を提案する。 このアプローチは、複数のデータセットとアライメントタスクで、5つの強力なベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-08-06T07:24:14Z)
• ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment [94.36403843133616]
  人間の好みを使って大きな言語モデル(LLM)を整列させると、さまざまな下流タスクのパフォーマンスが大幅に向上する。 既存の方法には強い理論的な基礎が欠けているか、制限的な報酬関数の仮定に依存している。 非線型報酬関数に対して理論的に基底化されたデータ選択基準を用いるアルゴリズムであるActiveDPOを提案する。
  論文  参考訳（メタデータ） (2025-05-25T17:42:52Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Deep Adversarial Domain Adaptation Based on Multi-layer Joint Kernelized Distance [30.452492118887182]
  ドメイン適応とは、ソースデータから学習したモデルを対象データに適用する学習シナリオを指す。 ソースデータとターゲットデータとの分布差は、適応性能に大きく影響する。 多層共役核距離測定値に基づく深層対向領域適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-09T02:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。