論文の概要: Diffract: Spectral View of LLM Domain Adaptation

• arxiv url: http://arxiv.org/abs/2608.10850v1
• Date: Tue, 11 Aug 2026 12:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.038039
• Title: Diffract: Spectral View of LLM Domain Adaptation
• Title（参考訳）: Diffract: LLMドメイン適応のスペクトルビュー
• Abstract要約: 連続的な事前学習は、汎用的な大規模言語モデルを特殊なドメインに適応させるメカニズムである。 CPTには特異値スペクトルがほとんど不変であり、適応は主に特異ベクトルの変化によって導かれる。 低比重ヘッドを予めトレーニングされた状態に選択的に巻き戻すと、完全にトレーニングされたベースラインと比較して、ベンチマークの精度が最大4%向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study continual pre-training (CPT) as a mechanism for adapting general-purpose large language models to specialized domains: mathematics, instruction, code, and natural text. Using singular value decomposition of weight matrices, we find that CPT leaves singular value spectra largely invariant, with adaptation driven mainly by changes in singular vectors. An analysis of attention-head projection matrices reveals strong, domain-dependent head heterogeneity, which we exploit to define a head importance criterion: up to 60% of head updates can be removed without measurable quality loss. Selectively rewinding low-importance heads to their pre-trained state improves benchmark accuracy by up to 4% versus the fully trained baseline. Finally, we identify domain connectivity - linear interpolation between CPT checkpoints yields smooth domain-quality interpolation without notable degradation on either domain - and release Diffract, an open-source toolkit for scalable spectral analysis of billion-parameter models.
• Abstract（参考訳）: 本研究では,CPT(Continuous pre-training)を,汎用的な大規模言語モデルを専門分野(数学,命令,コード,自然文)に適応させるメカニズムとして研究する。 重み行列の特異値分解を用いて、CPTは特異値スペクトルをほとんど不変にし、適応は主に特異ベクトルの変化によって導かれる。 注視頭部投射行列の解析により,頭部重大基準の定義に利用した,強い領域依存の頭部不均一性が明らかとなった。 低比重ヘッドを予めトレーニングされた状態に選択的に巻き戻すと、完全にトレーニングされたベースラインと比較して、ベンチマークの精度が最大4%向上する。 最後に、ドメイン接続性 - CPTチェックポイント間の線形補間 - は、どちらのドメインにも顕著な劣化のない、スムーズなドメイン品質補間をもたらす - と、数十億パラメータモデルのスケーラブルなスペクトル解析のためのオープンソースのツールキットであるDiffractをリリースする。

関連論文リスト

• FAIR: Feature-Augmented Implicit Regularization for AI-generated Fake Image Detection [5.673956549751241]
  AI生成画像検出において、一般化は依然として重要なボトルネックである。 FAIR(Feature-Augmented Implicit Regularization)を提案する。 我々は、FAIRが精度を最大8.04%向上させ、ゼロショット転送シナリオにおける新しい最先端のロバスト性を確立することを示す。
  論文  参考訳（メタデータ） (2026-07-24T08:34:56Z)
• Algebraic Diversity: Group-Theoretic Spectral Estimation from Single Observations [1.3537117504260623]
  グループ平均推定器を1つのスナップショットから推定し,同値な部分空間分解とマルチスナップショット共分散推定を実現する。 我々はこれらの結果を任意の統計量に拡張し、分散は有効群順序$d_mathrmeff$によって支配される。 このフレームワークは内容よりも$structure$の情報(データオブジェクトの表現論的対称性)を活用し、シャノンの理論を補完する。
  論文  参考訳（メタデータ） (2026-04-04T08:08:34Z)
• IMSE: Intrinsic Mixture of Spectral Experts Fine-tuning for Test-Time Adaptation [16.129735356928958]
  テストデータが分布と異なる場合, 性能劣化を防止するため, テスト時間適応が広く研究されている。 我々は、視覚変換器に埋め込まれたスペクトルエキスパートを生かしたスペクトルエキスパートの内在混合(IMSE)を提案する。 提案手法は,TTA設定下での様々な分散シフトベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-03-09T03:42:44Z)
• Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
  逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。 本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。 我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
  論文  参考訳（メタデータ） (2026-01-23T10:33:45Z)
• Feature-Space Planes Searcher: A Universal Domain Adaptation Framework for Interpretability and Computational Efficiency [7.889121135601528]
  現在の教師なし領域適応法は微調整特徴抽出器に依存している。 領域適応フレームワークとしてFPS(Feature-space Planes Searcher)を提案する。 FPSは最先端の手法と比較して,競争力や性能に優れることを示す。
  論文  参考訳（メタデータ） (2025-08-26T05:39:21Z)
• Group-wise Scaling and Orthogonal Decomposition for Domain-Invariant Feature Extraction in Face Anti-Spoofing [7.902884193437407]
  特徴直交分解(FOD)とグループワイドスケーリングリスク最小化(GS-RM)を通じて重みとバイアスを協調的に調整する新しいDGFASフレームワークを提案する。 提案手法は,最先端性能を実現し,精度を継続的に向上し,バイアス補正を低減し,未確認対象領域の安定性を向上する。
  論文  参考訳（メタデータ） (2025-07-05T11:20:19Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Label Alignment Regularization for Distribution Shift [63.228879525056904]
  最近の研究は、教師あり学習におけるラベルアライメント特性(LAP)を強調している。 対象領域の予測と最上位特異ベクトルとのアライメントを促進する非教師なし領域適応の正規化法を提案する。 MNIST-USPSドメイン適応や言語間感情分析などのよく知られたタスクにおいて、ドメイン適応ベースラインよりもパフォーマンスが向上したことを報告した。
  論文  参考訳（メタデータ） (2022-11-27T22:54:48Z)
• Calibrated Feature Decomposition for Generalizable Person Re-Identification [82.64133819313186]
  Calibrated Feature Decomposition (CFD)モジュールは、人物の再識別の一般化能力の向上に焦点を当てている。 キャリブレーション・アンド・スタンダード化されたバッチ正規化(CSBN)は、キャリブレーションされた人物表現を学習するために設計されている。
  論文  参考訳（メタデータ） (2021-11-27T17:12:43Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Shape-aware Meta-learning for Generalizing Prostate MRI Segmentation to Unseen Domains [68.73614619875814]
  前立腺MRIのセグメント化におけるモデル一般化を改善するために,新しい形状認識メタラーニング手法を提案する。 実験結果から,本手法は未確認領域の6つの設定すべてにおいて,最先端の一般化手法を一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-04T07:56:02Z)
• Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification [66.91839845347604]
  特徴抽出ネットワークの後に多様な特徴変換を行うことにより,アンサンブル予測モデルを提案する。 我々は,事前学習中に特徴行列の特異値を抑制するために,バッチスペクトル正規化項を用い,モデルの一般化能力を向上させる。 提案したモデルは、ターゲット領域で微調整して、数発の分類に対処することができる。
  論文  参考訳（メタデータ） (2020-05-18T05:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。