論文の概要: Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation

• arxiv url: http://arxiv.org/abs/2602.06359v1
• Date: Fri, 06 Feb 2026 03:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.221029
• Title: Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation
• Title（参考訳）: 効率的なドメイン適応のための勾配直交性を用いた学習データ選択
• Authors: Xiyang Zhang, Yuanhe Tian, Hongzhi Wang, Yan Song,
• Abstract要約: 専門分野のための微調整された大きな言語モデルは、しばしばドメインの専門知識の獲得と一般的な推論能力の維持の間のトレードオフを必要とする。 ドメイン性能,一般能力保持,トレーニング効率を調和させるデータ中心の手法として,直交勾配選択(OGS)を提案する。
• 参考スコア（独自算出の注目度）: 21.694351921779845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) for specialized domains often necessitates a trade-off between acquiring domain expertise and retaining general reasoning capabilities, a phenomenon known as catastrophic forgetting. Existing remedies face a dichotomy: gradient surgery methods offer geometric safety but incur prohibitive computational costs via online projections, while efficient data selection approaches reduce overhead but remain blind to conflict-inducing gradient directions. In this paper, we propose Orthogonal Gradient Selection (OGS), a data-centric method that harmonizes domain performance, general capability retention, and training efficiency. OGS shifts the geometric insights of gradient projection from the optimizer to the data selection stage by treating data selection as a constrained decision-making process. By leveraging a lightweight Navigator model and reinforcement learning techniques, OGS dynamically identifies training samples whose gradients are orthogonal to a general-knowledge anchor. This approach ensures naturally safe updates for target models without modifying the optimizer or incurring runtime projection costs. Experiments across medical, legal, and financial domains demonstrate that OGS achieves excellent results, significantly improving domain performance and training efficiency while maintaining or even enhancing performance on general tasks such as GSM8K.
• Abstract（参考訳）: 特殊ドメインのための微調整された大きな言語モデル(LLM)は、しばしばドメインの専門知識の獲得と一般的な推論能力の維持の間のトレードオフを必要とする。 グラデーション手術法は幾何学的安全性を提供するが、オンラインプロジェクションによる不正な計算コストを発生させる一方、効率的なデータ選択手法はオーバーヘッドを減らし、矛盾を引き起こす勾配方向を目視する。 本稿では,ドメイン性能,一般能力保持,トレーニング効率を調和させるデータ中心の手法であるオルソゴン勾配選択(OGS)を提案する。 OGSは、データ選択を制約された意思決定プロセスとして扱うことにより、勾配投影の幾何学的洞察をオプティマイザからデータ選択段階にシフトする。 軽量なナビゲータモデルと強化学習技術を利用することで、OGSは一般知識アンカーに直交する勾配を持つトレーニングサンプルを動的に識別する。 このアプローチは、オプティマイザを変更したり、実行時のプロジェクションコストを発生させることなく、ターゲットモデルの自然な安全なアップデートを保証する。 医療分野、法律分野、金融分野における実験により、OGSは優れた成果を上げ、GSM8Kのような一般的なタスクにおけるパフォーマンスを維持したり、向上させたりしながら、ドメインのパフォーマンスとトレーニング効率を大幅に改善することを示した。

関連論文リスト

• Closing the Train-Test Gap in World Models for Gradient-Based Planning [64.36544881136405]
  本研究では,効率的な勾配計画を可能にする世界モデルの学習方法を提案する。 テスト時には,古典的勾配のないクロスエントロピー法よりも優れた手法が提案される。
  論文  参考訳（メタデータ） (2025-12-10T18:59:45Z)
• Feature-Space Planes Searcher: A Universal Domain Adaptation Framework for Interpretability and Computational Efficiency [7.889121135601528]
  現在の教師なし領域適応法は微調整特徴抽出器に依存している。 領域適応フレームワークとしてFPS(Feature-space Planes Searcher)を提案する。 FPSは最先端の手法と比較して,競争力や性能に優れることを示す。
  論文  参考訳（メタデータ） (2025-08-26T05:39:21Z)
• Hindsight-Guided Momentum (HGM) Optimizer: An Approach to Adaptive Learning Rate [0.0]
  直近のアップデートに基づいて学習率を適応的にスケールする一階最適化アルゴリズムであるHindsight-Guided Momentumを導入する。 HGMは、コヒーレントな方向と矛盾する方向の学習速度を加速する後向きのメカニズムによってこの問題に対処する。
  論文  参考訳（メタデータ） (2025-06-22T08:02:19Z)
• Graph Data Selection for Domain Adaptation: A Model-Free Approach [54.27731120381295]
  グラフドメイン適応(GDA)は、グラフ機械学習の基本的なタスクである。 本稿では,対象ドメインの分類タスクに対して,ソースドメインから最高のトレーニングデータを選択する新しいモデルフリーフレームワークであるGRADATEを提案する。 GRADATEは既存の選択法よりも優れており、トレーニングデータが少なく、市販のGDA法を向上する。
  論文  参考訳（メタデータ） (2025-05-22T21:18:39Z)
• Efficient Distributed Optimization under Heavy-Tailed Noise [32.96984712007111]
  TailOPTは、潜在的に勾配のばらつきと局所的な更新を伴うヘビーテールノイズに対処するように設計されている。 Bi2Clip$は、インナーとアウターの両方でコーディネートワイドクリッピングを行い、アダプティブライクなパフォーマンスを実現する。 この$Bi2Clip$は、いくつかの言語タスクやモデルにおいて優れたパフォーマンスを示し、最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-02-06T15:47:18Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via Optimization Trajectory Distillation [73.83178465971552]
  自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。 非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。 本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
  論文  参考訳（メタデータ） (2023-07-27T08:58:05Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Data Augmentation through Expert-guided Symmetry Detection to Improve Performance in Offline Reinforcement Learning [0.0]
  マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。 近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。 学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
  論文  参考訳（メタデータ） (2021-12-18T14:32:32Z)
• Domain Adaptive Person Re-Identification via Coupling Optimization [58.567492812339566]
  ドメイン適応型人物再識別(ReID)は、ドメインのギャップとターゲットシナリオに対するアノテーションの不足のために困難である。 本稿では,ドメイン不変写像 (DIM) 法とグローバル局所距離最適化 (GLO) を含む結合最適化手法を提案する。 GLOはターゲットドメインの教師なし設定でReIDモデルをトレーニングするために設計されている。
  論文  参考訳（メタデータ） (2020-11-06T14:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。