論文の概要: Beyond Similarity: A Gradient-based Graph Method for Instruction Tuning Data Selection

• arxiv url: http://arxiv.org/abs/2502.11062v1
• Date: Sun, 16 Feb 2025 10:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:02.830825
• Title: Beyond Similarity: A Gradient-based Graph Method for Instruction Tuning Data Selection
• Title（参考訳）: 類似性を超えて: インストラクションチューニングデータ選択のためのグラディエントベースのグラフ手法
• Authors: Yang Zhao, Li Du, Xiao Ding, Yangou Ouyang, Hepeng Wang, Kai Xiong, Jinglong Gao, Zhouhao Sun, Dongliang Xu, Yang Qing, Dongchen Li, Bing Qin, Ting Liu,
• Abstract要約: 大規模言語モデル (LLM) は, 命令チューニングによる一般化能力の顕著さから, 様々な産業において大きな可能性を秘めている。 G2IS (Gradient-based Graph Instruction Selection) は、混合勾配に基づく命令グラフを構築し、命令間の結合分布と相互依存性をキャプチャする手法である。 G2ISは、様々なドメイン適応タスクで従来のメソッドよりも優れており、特に複雑なデータスカースシナリオにおいて、大幅なパフォーマンス向上をもたらす。
• 参考スコア（独自算出の注目度）: 39.791180321058214
• License:
• Abstract: Large language models (LLMs) have shown great potential across various industries due to their remarkable ability to generalize through instruction tuning. However, the limited availability of domain-specific data significantly hampers their performance on specialized tasks. While existing methods primarily focus on selecting training data from general datasets that are similar to the target domain, they often fail to consider the joint distribution of instructions, resulting in inefficient learning and suboptimal knowledge transfer. To address these challenges, we introduce G2IS (Gradient-based Graph Instruction Selection), a novel method that constructs a mixed gradient-based instruction graph to capture the joint distribution and interdependencies between instructions. By accounting for the relationships between instructions, G2IS improves domain adaptation efficiency. Additionally, we propose a gradient walk algorithm to refine the data selection process, enhancing both training effectiveness and efficiency. Our experiments demonstrate that G2IS outperforms traditional methods across various domain adaptation tasks, yielding significant performance gains, particularly in complex, data-scarce scenarios. These results underscore the potential of G2IS in advancing the development of large, domain-specific models.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 命令チューニングによる一般化能力の顕著さから, 様々な産業において大きな可能性を秘めている。 しかし、ドメイン固有のデータの限られた可用性は、特定のタスクにおけるパフォーマンスを著しく損なう。 既存の手法は、主にターゲットドメインに類似した一般的なデータセットからトレーニングデータを選択することに重点を置いているが、多くの場合、命令の連成分布を考慮せず、非効率な学習と準最適知識伝達をもたらす。 これらの課題に対処するため,G2IS (Gradient-based Graph Instruction Selection) を導入する。 命令間の関係を考慮することで、G2ISはドメイン適応効率を向上させる。 さらに,データ選択プロセスを洗練し,トレーニングの有効性と効率性を両立させる勾配ウォークアルゴリズムを提案する。 我々の実験は、G2ISが様々なドメイン適応タスクにおいて従来のメソッドよりも優れており、特に複雑なデータスカースシナリオにおいて、大きなパフォーマンス向上をもたらすことを示した。 これらの結果は、G2ISが大規模ドメイン固有モデルの開発を進展させる可能性を示している。

関連論文リスト

• MLDGG: Meta-Learning for Domain Generalization on Graphs [9.872254367103057]
  グラフ上のドメインの一般化は、堅牢な一般化機能を持つモデルを開発することを目的としている。 我々のフレームワークであるMDDGGは、多分野間メタラーニングを統合することで、多分野にわたる適応可能な一般化を実現する。 実験の結果,MDDGGはベースライン法を超越し,3種類の分散シフト設定で有効性を示した。
  論文  参考訳（メタデータ） (2024-11-19T22:57:38Z)
• Advancing Open-Set Domain Generalization Using Evidential Bi-Level Hardest Domain Scheduler [45.71475375161575]
  Open-Set Domain Generalizationでは、新しいデータ外観(ドメイン)とオープンセット条件の両方でモデルが公開される。 適応型ドメインスケジューラを実現するために,Evidential Bi-Level Hardest Domain Scheduler (EBiL-HaDS)を提案する。
  論文  参考訳（メタデータ） (2024-09-26T05:57:35Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Domain Adaptive Graph Classification [0.0]
  本稿では,グラフトポロジを二分枝から探索し,二分枝学習による領域差を緩和するDual Adversarial Graph Representation Learning(DAGRL)を提案する。 提案手法では,適応的な摂動を二重分岐に組み込み,ソースとターゲット分布をドメインの整合性に対応させる。
  論文  参考訳（メタデータ） (2023-12-21T02:37:56Z)
• GraphControl: Adding Conditional Control to Universal Graph Pre-trained Models for Graph Domain Transfer Learning [28.04023419006392]
  グラフ自己教師型アルゴリズムは、豊富なラベルのないグラフデータから一般的な知識を取得することに成功している。 類似しているように見える領域の異なるグラフは、属性のセマンティクスの点で大きく異なる。 我々は、より優れたグラフドメイン転送学習を実現するために、ComputerNetによってモチベーションを得たGraphControlと呼ばれる革新的なデプロイモジュールを導入する。
  論文  参考訳（メタデータ） (2023-10-11T10:30:49Z)
• Joint Optimization of Class-Specific Training- and Test-Time Data Augmentation in Segmentation [35.41274775082237]
  本稿では,医用画像セグメンテーションのための有効で汎用的なデータ拡張フレームワークを提案する。 我々は、学習データと検証データの分布を整合させるために、計算効率が高く、データ効率のよい勾配に基づくメタラーニング手法を採用する。 本稿では,DeepMedic と nnU-Net の2つの最先端セグメンテーションモデルを用いた4つの医用画像セグメンテーション課題に対する提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T14:48:45Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Domain Adaptive Person Re-Identification via Coupling Optimization [58.567492812339566]
  ドメイン適応型人物再識別(ReID)は、ドメインのギャップとターゲットシナリオに対するアノテーションの不足のために困難である。 本稿では,ドメイン不変写像 (DIM) 法とグローバル局所距離最適化 (GLO) を含む結合最適化手法を提案する。 GLOはターゲットドメインの教師なし設定でReIDモデルをトレーニングするために設計されている。
  論文  参考訳（メタデータ） (2020-11-06T14:01:03Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。