論文の概要: TAROT: Targeted Data Selection via Optimal Transport

• arxiv url: http://arxiv.org/abs/2412.00420v1
• Date: Sat, 30 Nov 2024 10:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:24.967285
• Title: TAROT: Targeted Data Selection via Optimal Transport
• Title（参考訳）: TAROT: 最適なトランスポートによるターゲットデータ選択
• Authors: Lan Feng, Fan Nie, Yuejiang Liu, Alexandre Alahi,
• Abstract要約: TAROTは最適な輸送理論に基づくデータ選択フレームワークである。 従来のターゲットデータ選択手法は、ドメイン固有のパフォーマンスを高めるために影響に基づく欲求に依存していた。 我々は,意味的セグメンテーション,動作予測,命令チューニングなど,複数のタスクにわたるTAROTを評価する。
• 参考スコア（独自算出の注目度）: 64.56083922130269
• License:
• Abstract: We propose TAROT, a targeted data selection framework grounded in optimal transport theory. Previous targeted data selection methods primarily rely on influence-based greedy heuristics to enhance domain-specific performance. While effective on limited, unimodal data (i.e., data following a single pattern), these methods struggle as target data complexity increases. Specifically, in multimodal distributions, these heuristics fail to account for multiple inherent patterns, leading to suboptimal data selection. This work identifies two primary factors contributing to this limitation: (i) the disproportionate impact of dominant feature components in high-dimensional influence estimation, and (ii) the restrictive linear additive assumptions inherent in greedy selection strategies. To address these challenges, TAROT incorporates whitened feature distance to mitigate dominant feature bias, providing a more reliable measure of data influence. Building on this, TAROT uses whitened feature distance to quantify and minimize the optimal transport distance between the selected data and target domains. Notably, this minimization also facilitates the estimation of optimal selection ratios. We evaluate TAROT across multiple tasks, including semantic segmentation, motion prediction, and instruction tuning. Results consistently show that TAROT outperforms state-of-the-art methods, highlighting its versatility across various deep learning tasks. Code is available at https://github.com/vita-epfl/TAROT.
• Abstract（参考訳）: 最適輸送理論に基づくターゲットデータ選択フレームワークであるTAROTを提案する。 従来のターゲットデータ選択方法は、主にドメイン固有のパフォーマンスを高めるために影響に基づく欲求的ヒューリスティックに依存していた。 制限されたユニモーダルデータ(すなわち単一のパターンに従うデータ)では有効であるが、ターゲットデータの複雑さが増大するにつれてこれらの手法は苦戦する。 具体的には、マルチモーダル分布において、これらのヒューリスティックスは複数の固有のパターンを考慮せず、最適なデータ選択に繋がる。 この研究は、この制限に寄与する2つの主要な要因を特定します。 一 高次元影響評価における支配的特徴成分の不均等な影響、及び (ii) 欲求選択戦略に固有の制限線形加法的仮定。 これらの課題に対処するため、TAROTはホワイト化された特徴距離を導入し、優位な特徴バイアスを緩和し、データの影響をより信頼性の高い尺度を提供する。 これに基づいて、TAROTはホワイト化された特徴距離を使用して、選択されたデータとターゲットドメインの間の最適な輸送距離を定量化し、最小化する。 特に、この最小化は最適な選択比の推定を容易にする。 我々は,意味的セグメンテーション,動作予測,命令チューニングなど,複数のタスクにわたるTAROTを評価する。 その結果、TAROTは最先端の手法よりも優れており、様々なディープラーニングタスクにおける汎用性を強調している。 コードはhttps://github.com/vita-epfl/TAROTで入手できる。

関連論文リスト

• TSDS: Data Selection for Task-Specific Model Finetuning [39.19448080265558]
  タスク固有の微調整の有効性は、適切なトレーニングデータの選択に大きく依存する。 本稿では,タスク固有のモデル微調整のためのデータ選択フレームワークであるTSDS(Task-Specific Data Selection)を提案する。 提案手法で選択したデータを用いて,1%選択率で命令チューニングを行う場合,全データセットで処理性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-15T05:54:17Z)
• What is the Right Notion of Distance between Predict-then-Optimize Tasks? [35.842182348661076]
  特徴量やラベル次元にのみ依存する従来のデータセット距離は,PtO(Predict-then-then-then)の文脈では情報性が欠如していることが示される。 下流決定の影響を組み込んだ新しいデータセット距離を提案する。 以上の結果から,この決定認識データセット距離は,PtOコンテキストにおける適応成功を効果的に捉えていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-11T04:13:17Z)
• Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs [18.242110417706]
  この研究は、膨大なラベルのないオープンデータから事前訓練された言語モデルへの活用と選択に焦点を当てている。 特定の条件下での微調整タスクに対するこのアプローチの最適性を示す。 提案手法は既存の手法よりもはるかに高速で,GPU時間内に数百万のサンプルにスケールアップする。
  論文  参考訳（メタデータ） (2024-05-05T00:08:00Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Double-Bounded Optimal Transport for Advanced Clustering and Classification [58.237576976486544]
  本稿では,2つの境界内での目標分布の制限を前提としたDB-OT(Douubly bounded Optimal Transport)を提案する。 提案手法は,テスト段階における改良された推論方式により,良好な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-21T07:43:01Z)
• Improving Transferability for Cross-domain Trajectory Prediction via Neural Stochastic Differential Equation [41.09061877498741]
  外部要因とデータ取得戦略によるデータセット間での相違がある。 大規模データセットでトレーニングされたモデルの熟練した性能は、他の小規模データセットでの転送可能性に制限がある。 本稿では,ニューラル微分方程式(NSDE)の連続的利用に基づく不一致の緩和手法を提案する。 提案手法の有効性は,一般的なベンチマークデータセットであるnuScenes,Argoverse,Lyft,InterinterAction,Open Motionデータセット上で,最先端の軌道予測モデルに対して検証される。
  論文  参考訳（メタデータ） (2023-12-26T06:50:29Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)
• Data-Driven Offline Decision-Making via Invariant Representation Learning [97.49309949598505]
  オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。 オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。 本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
  論文  参考訳（メタデータ） (2022-11-21T11:01:37Z)
• AcroFOD: An Adaptive Method for Cross-domain Few-shot Object Detection [59.10314662986463]
  クロスドメインの少数ショットオブジェクト検出は、いくつかの注釈付きターゲットデータで対象ドメイン内のオブジェクト検出器を適応することを目的としている。 提案手法は,複数のベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T10:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。