論文の概要: SearchInstruct: Enhancing Domain Adaptation via Retrieval-Based Instruction Dataset Creation

• arxiv url: http://arxiv.org/abs/2509.10708v1
• Date: Fri, 12 Sep 2025 21:50:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.74452
• Title: SearchInstruct: Enhancing Domain Adaptation via Retrieval-Based Instruction Dataset Creation
• Title（参考訳）: Search Instruct: 検索ベースのインストラクションデータセット作成によるドメイン適応の強化
• Authors: Iman Barati, Mostafa Amiri, Heshaam Faili,
• Abstract要約: Supervised Fine-Tuning (SFT) は大規模言語モデル(LLM)の訓練に不可欠である 本稿では,SFTのための高品質な命令データセットを明示的に構築するSearchInstructを提案する。 我々のアプローチは、大きな言語モデルを使用して体系的に拡張される、限定されたドメイン固有、人間生成の質問から始まります。
• 参考スコア（独自算出の注目度）: 3.5939555573102857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised Fine-Tuning (SFT) is essential for training large language models (LLMs), significantly enhancing critical capabilities such as instruction following and in-context learning. Nevertheless, creating suitable training datasets tailored for specific domains remains challenging due to unique domain constraints and data scarcity. In this paper, we propose SearchInstruct, an innovative method explicitly designed to construct high quality instruction datasets for SFT. Our approach begins with a limited set of domain specific, human generated questions, which are systematically expanded using a large language model. Subsequently, domain relevant resources are dynamically retrieved to generate accurate and contextually appropriate answers for each augmented question. Experimental evaluation demonstrates that SearchInstruct enhances both the diversity and quality of SFT datasets, leading to measurable improvements in LLM performance within specialized domains. Additionally, we show that beyond dataset generation, the proposed method can also effectively facilitate tasks such as model editing, enabling efficient updates to existing models. To facilitate reproducibility and community adoption, we provide full implementation details, the complete set of generated instruction response pairs, and the source code in a publicly accessible Git repository: [https://github.com/mostafaamiri/SearchInstruct](https://github.com/mostafaamiri/SearchInstruct)
• Abstract（参考訳）: Supervised Fine-Tuning (SFT) は、大規模言語モデル(LLM)の訓練に不可欠であり、命令追従や文脈内学習などの重要な能力を大幅に向上させる。 それでも、特定のドメインに適したトレーニングデータセットを作成することは、ユニークなドメイン制約とデータ不足のため、依然として困難である。 本稿では,SFTのための高品質な命令データセットを明示的に構築する革新的な手法であるSearchInstructを提案する。 我々のアプローチは、大きな言語モデルを使用して体系的に拡張される、限定されたドメイン固有、人間生成の質問から始まります。 その後、ドメイン関連リソースを動的に検索し、拡張された各質問に対して正確で文脈的に適切な回答を生成する。 実験的評価により、SearchInstructはSFTデータセットの多様性と品質の両方を向上し、特殊なドメイン内でのLLM性能が測定可能な改善をもたらすことが示された。 さらに,提案手法は,データセット生成以外にも,モデル編集などのタスクを効果的に促進し,既存モデルの効率的な更新を可能にする。 再現性とコミュニティの採用を容易にするため、私たちは、完全な実装の詳細、生成された命令応答ペアの完全なセット、そしてソースコードをパブリックアクセス可能なGitリポジトリに提供します。

関連論文リスト

• LM-Searcher: Cross-domain Neural Architecture Search with LLMs via Unified Numerical Encoding [55.5535016040221]
  LM-Searcherは、クロスドメインニューラルネットワーク最適化のための新しいフレームワークである。 我々のアプローチの中心は、ニューラルネットワークのための普遍的な数値文字列表現であるNCodeである。 我々のデータセットは、幅広いアーキテクチャとパフォーマンスのペアを含み、堅牢で伝達可能な学習を促進する。
  論文  参考訳（メタデータ） (2025-09-06T09:26:39Z)
• Can Smaller LLMs do better? Unlocking Cross-Domain Potential through Parameter-Efficient Fine-Tuning for Text Summarization [15.402666674186937]
  パラメータ効率の高い微細チューニング技術(PEFT)を高リソースデータセットに適用し、未確認低リソース領域の性能を向上させる。 textttLlama-3-8B-Instructの6つのPEFTをScientific, Medical, Legal, Newsドメインから14のトレーニングデータセットでベンチマークした。 実験により、低リソース領域では、内部ドメインアダプタを使用した推論の方がFew-Shotよりも優れたパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2025-09-01T09:58:52Z)
• Scaling Towards the Information Boundary of Instruction Set: InfinityInstruct-Subject Technical Report [11.70656700216213]
  高品質な命令データセットの構築は、モデル性能と一般化可能性の向上に不可欠である。 本稿では,階層的ラベリングシステム,情報的種選択アルゴリズム,モデル欠損診断を統合した系統的命令データ合成フレームワークを提案する。 本稿では,150万の命令を含む高品質なデータセットであるInfinityInstruct-Subjectを構築した。
  論文  参考訳（メタデータ） (2025-07-09T15:59:02Z)
• Towards Efficient and Effective Alignment of Large Language Models [7.853945494882636]
  大規模言語モデル(LLM)は多様なタスクにまたがる優れた能力を示すが、それらを効率的かつ効果的に人間の期待に合わせることは重要な課題である。 この論文は、データ収集、トレーニング、評価において新しい方法論を導入することで、LCMアライメントを推し進める。
  論文  参考訳（メタデータ） (2025-06-11T02:08:52Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• A New Pipeline For Generating Instruction Dataset via RAG and Self Fine-Tuning [0.0]
  本研究では,特定のドメインを微調整するための高品質な命令データセットを構築するパイプラインを提案する。 ドメイン固有の文書を取り込み、パイプラインは関連性のある適切な命令を生成する。 ケーススタディでは、専門知識と患者情報の繊細な取り扱いを必要とする領域である精神医学の領域にこのアプローチを適用した。
  論文  参考訳（メタデータ） (2024-08-12T03:52:11Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through Active Exploration [64.58185031596169]
  Explore-Instructは、ドメイン固有の命令チューニングで使用されるデータカバレッジを強化する新しいアプローチである。 データ中心分析は、ドメイン固有の命令カバレッジを改善するために提案手法の有効性を検証する。 我々の発見は、特にドメイン固有の文脈において、命令カバレッジを改善するための有望な機会を提供する。
  論文  参考訳（メタデータ） (2023-10-13T15:03:15Z)
• Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation [92.2167864437497]
  インストラクションチューニングデータの自動キュレーションのための動的成長パラダイムであるDynosaurを提案する。 既存のデータセットのメタデータに基づいて、LLMを使用して、関連するデータフィールドを特定し、適切な命令を生成することで、命令調整データを自動的に構築する。 既存のアノテートデータセットを活用することで、Dynosaurには、命令を生成するためのAPIコストを削減すること、命令チューニングのための高品質なデータを提供すること、新しいアノテートデータセットが利用可能になったときに、命令チューニングデータを生成することで、モデルの継続的な改善をサポートすること、など、いくつかのメリットがある。
  論文  参考訳（メタデータ） (2023-05-23T17:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。