論文の概要: GIST: Targeted Data Selection for Instruction Tuning via Coupled Optimization Geometry

• arxiv url: http://arxiv.org/abs/2602.18584v1
• Date: Fri, 20 Feb 2026 19:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.176698
• Title: GIST: Targeted Data Selection for Instruction Tuning via Coupled Optimization Geometry
• Title（参考訳）: GIST:Coupled Optimization Geometryによるインストラクションチューニングのためのターゲットデータ選択
• Authors: Guanghui Min, Tianhao Huang, Ke Wan, Chen Chen,
• Abstract要約: GIST (Gradient Isometric Subspace Transformation) は、軸方向のスケーリングをロバストな部分空間アライメントに置き換える。 GISTは, ストレージの0.29%, 計算時間の25%で, 最先端のベースラインに適合または優れることを示す。
• 参考スコア（独自算出の注目度）: 4.94446914034065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Targeted data selection has emerged as a crucial paradigm for efficient instruction tuning, aiming to identify a small yet influential subset of training examples for a specific target task. In practice, influence is often measured through the effect of an example on parameter updates. To make selection scalable, many approaches leverage optimizer statistics (e.g., Adam states) as an axis-aligned surrogate for update geometry (i.e., diagonal precondition), implicitly treating parameters as coordinate-wise independent. We show that this assumption breaks down in parameter-efficient fine-tuning (PEFT) methods such as LoRA. In this setting, the induced optimization geometry exhibits strong cross-parameter coupling with non-trivial off-diagonal interactions, while the task-relevant update directions are confined to a low-dimensional subspace. Motivated by this mismatch, we propose GIST (Gradient Isometric Subspace Transformation), a simple yet principled alternative that replaces axis-aligned scaling with robust subspace alignment. GIST recovers a task-specific subspace from validation gradients via spectral filtering (SVD), projects training gradients into this coupled subspace, and scores examples by their alignment with target directions.Extensive experiments have demonstrated that GIST matches or outperforms the state-of-the-art baseline with only 0.29% of the storage and 25% of the computational time under the same selection budget.
• Abstract（参考訳）: 目標データ選択は、特定の目標タスクに対するトレーニングサンプルの小さいが影響力のあるサブセットを特定することを目的として、効率的な命令チューニングのための重要なパラダイムとして登場した。 実際には、パラメータ更新に対する例の効果を通じて、しばしば影響を測定する。 選択をスケーラブルにするために、多くのアプローチはオプティマイザ統計(例えばアダム状態)を更新幾何学(例えば対角前条件)の軸整列サロゲートとして利用し、パラメータを座標独立として暗黙的に扱う。 この仮定は、LoRAのようなパラメータ効率のよい微調整(PEFT)手法で分解されることを示す。 この設定では、誘導最適化は非自明な非対角的相互作用と強いクロスパラメータ結合を示し、タスク関連更新方向は低次元部分空間に制限される。 このミスマッチに触発されたGIST(Gradient Isometric Subspace Transformation)は、軸方向のスケーリングをロバストな部分空間アライメントに置き換える単純な代替手段である。 GISTは、スペクトルフィルタリング(SVD)による検証勾配からタスク固有の部分空間を復元し、この結合された部分空間への勾配を訓練し、目標方向と整合して実例を採点する。

関連論文リスト

• Tangent Space Fine-Tuning for Directional Preference Alignment in Large Language Models [0.2538209532048867]
  私たちのゴールは、原則と制御可能なアライメントを通じて、大きな言語モデルで人間の好みの次元をバランスさせることです。 本稿では、局所線形な状態下でDPOを実行し、オブジェクトごとの更新方向を学習するTangent-Space Direct Preference Optimization (TS-DPO)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T09:56:28Z)
• Latent Geometry of Taste: Scalable Low-Rank Matrix Factorization for Recommender Systems [0.0]
  本研究は、MovieLens 32Mデータセットを用いて、ユーザの嗜好の潜時幾何学について検討する。 制約付き低ランクモデルはランク精度において高次元モデルよりも有意に優れていることを示す。 我々は,人気バイアスとパーソナライズされた親和性とのトレードオフを効果的に管理するための調整可能なスコアリングパラメータを導入し,コールドスタートシナリオにおけるシステムの実用性を検証する。
  論文  参考訳（メタデータ） (2026-01-06T23:42:40Z)
• Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
  環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。 そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。 特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
  論文  参考訳（メタデータ） (2025-06-30T17:14:12Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• TAROT: Targeted Data Selection via Optimal Transport [64.56083922130269]
  TAROTは最適な輸送理論に基づくデータ選択フレームワークである。 従来のターゲットデータ選択手法は、ドメイン固有のパフォーマンスを高めるために影響に基づく欲求に依存していた。 我々は,意味的セグメンテーション,動作予測,命令チューニングなど,複数のタスクにわたるTAROTを評価する。
  論文  参考訳（メタデータ） (2024-11-30T10:19:51Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• SPARE: Symmetrized Point-to-Plane Distance for Robust Non-Rigid 3D Registration [77.13381026159111]
  本研究では,SPAREを提案する。SPAREは,非剛性登録のための対称化点-平面間距離を用いた新しい定式化である。 提案手法は, 厳密でない登録問題の精度を大幅に向上し, 比較的高い解効率を維持する。
  論文  参考訳（メタデータ） (2024-05-30T15:55:04Z)
• Uncertainty-Guided Alignment for Unsupervised Domain Adaptation in Regression [5.437298646956505]
  Unsupervised Domain Adaptation for Regression (UDAR)は、ラベル付きソースドメインからラベル付きターゲットドメインにモデルを適応させることを目標としている。 従来の特徴アライメント手法は分類に成功し、回帰特徴の相関性から回帰に効果がないことがしばしば証明される。 特徴アライメントプロセスに予測の不確実性を統合する新しい手法である不確実性誘導アライメント(UGA)を提案する。
  論文  参考訳（メタデータ） (2024-01-24T14:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。