論文の概要: Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through Active Exploration

• arxiv url: http://arxiv.org/abs/2310.09168v2
• Date: Thu, 19 Oct 2023 08:52:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 18:37:58.772728
• Title: Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through Active Exploration
• Title（参考訳）: explore-instruct: 能動的探索によるドメイン固有の命令カバレッジの向上
• Authors: Fanqi Wan, Xinting Huang, Tao Yang, Xiaojun Quan, Wei Bi, Shuming Shi
• Abstract要約: Explore-Instructは、ドメイン固有の命令チューニングで使用されるデータカバレッジを強化する新しいアプローチである。 データ中心分析は、ドメイン固有の命令カバレッジを改善するために提案手法の有効性を検証する。 我々の発見は、特にドメイン固有の文脈において、命令カバレッジを改善するための有望な機会を提供する。
• 参考スコア（独自算出の注目度）: 64.58185031596169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-tuning can be substantially optimized through enhanced diversity, resulting in models capable of handling a broader spectrum of tasks. However, existing data employed for such tuning often exhibit an inadequate coverage of individual domains, limiting the scope for nuanced comprehension and interactions within these areas. To address this deficiency, we propose Explore-Instruct, a novel approach to enhance the data coverage to be used in domain-specific instruction-tuning through active exploration via Large Language Models (LLMs). Built upon representative domain use cases, Explore-Instruct explores a multitude of variations or possibilities by implementing a search algorithm to obtain diversified and domain-focused instruction-tuning data. Our data-centric analysis validates the effectiveness of this proposed approach in improving domain-specific instruction coverage. Moreover, our model's performance demonstrates considerable advancements over multiple baselines, including those utilizing domain-specific data enhancement. Our findings offer a promising opportunity to improve instruction coverage, especially in domain-specific contexts, thereby advancing the development of adaptable language models. Our code, model weights, and data are public at \url{https://github.com/fanqiwan/Explore-Instruct}.
• Abstract（参考訳）: インストラクションチューニングは、拡張された多様性によって大幅に最適化され、より広い範囲のタスクを扱うことができるモデルとなる。 しかし、そのようなチューニングに使用される既存のデータは、個々のドメインの不十分なカバレッジを示すことが多く、これらの領域内のニュアンスな理解と相互作用の範囲を制限する。 そこで本研究では,Large Language Models (LLMs) による積極的な探索を通じて,ドメイン固有の命令チューニングに使用されるデータカバレッジを向上させる手法であるExplore-Instructを提案する。 Explore-Instructは、汎用的なドメインユースケースに基づいて、多種多様なドメイン中心の命令チューニングデータを得るための探索アルゴリズムを実装することで、さまざまなバリエーションや可能性を探究する。 データ中心分析は、ドメイン固有の命令カバレッジを改善するために提案手法の有効性を検証する。 さらに,本モデルの性能は,ドメイン固有のデータ拡張など,複数のベースラインにまたがる大幅な向上を示す。 本研究は,特にドメイン固有の文脈において,命令カバレッジを改善するための有望な機会を提供し,適応可能な言語モデルの開発を促進する。 私たちのコード、モデルウェイト、データは、 \url{https://github.com/fanqiwan/Explore-Instruct}で公開されています。

関連論文リスト

• Empowering Domain-Specific Language Models with Graph-Oriented Databases: A Paradigm Shift in Performance and Model Maintenance [0.0]
  私たちの作業は、特定のアプリケーションドメインに固有の、大量の短いテキストドキュメントを管理し、処理する必要があることによるものです。 ドメイン固有の知識と専門知識を活用することで、このアプローチは、これらのドメイン内の実データを形成することを目的としています。 我々の研究は、ドメイン固有言語モデルとグラフ指向データベースのパートナーシップの変革の可能性を強調します。
  論文  参考訳（メタデータ） (2024-10-04T19:02:09Z)
• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Enhancing Domain Adaptation through Prompt Gradient Alignment [16.618313165111793]
  我々は、ドメイン不変性と特定の特徴の両方を学ぶために、素早い学習に基づく一連の作品を開発する。 我々は、UDAを、各目的がドメイン損失で表される多重目的最適化問題とみなした。 提案手法は,異なるUDAベンチマークにおいて,他のプロンプトベースベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-13T17:40:15Z)
• DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
  因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。 我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
  論文  参考訳（メタデータ） (2024-02-29T07:09:01Z)
• Unsupervised Domain Adaptation Using Compact Internal Representations [23.871860648919593]
  教師なしドメイン適応に対処する技術では、ソースとターゲットドメインの両方からデータポイントを共有埋め込み空間にマッピングする。 我々は、ソース領域の内部分布をよりコンパクトにする追加の手法を開発する。 組込み空間における異なるクラスのデータ表現間のマージンを増大させることで、UDAのモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-01-14T05:53:33Z)
• DPOD: Domain-Specific Prompt Tuning for Multimodal Fake News Detection [15.599951180606947]
  文脈外画像を用いたフェイクニュースが広まり、情報過負荷の時代における問題となっている。 ドメイン外データが、所望のドメインのコンテキスト外誤情報検出を改善するのに役立つかどうかを検討する。 DPOD (Domain-specific Prompt-tuning using Out-of-Domain data) と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-27T08:49:26Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Multi-scale Feature Alignment for Continual Learning of Unlabeled Domains [3.9498537297431167]
  生成的特徴駆動のイメージリプレイとデュアル目的判別器は、リプレイのための現実的な特徴を持つ画像の生成を可能にする。 本稿では,提案手法の構成要素について詳細なアブレーション実験を行い,非教師付きパッチベースセグメンテーションタスクに対する連続的UDA法の適用可能性を示す。
  論文  参考訳（メタデータ） (2023-02-02T18:19:01Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。