論文の概要: One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.06166v1
• Date: Thu, 07 May 2026 12:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.793944
• Title: One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning
• Title（参考訳）: 1つのアルゴリズムと2つの目標: LLMファインチューニングにおけるパラメータとデータ選択のためのデュアルスコアリング
• Abstract要約: 大規模言語モデル(LLM)では、パラメータとデータの選択が微調整コストを削減するための一般的な戦略である。 パラメータマスクとデータサブセットを共有勾配統計量から生成する1ショットのデュアルスコアアルゴリズムであるDualSFT(Dual-Selection Fine-Tuning)を提案する。 3B-9B LLMでは、単一軸DualSFTは目標タスク性能と安定塑性トレードオフを強化し、フルDualSFTはより有利な共同制約トレードオフをもたらす。
• 参考スコア（独自算出の注目度）: 16.233534918614417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Large Language Model (LLM) fine-tuning, parameter and data selection are common strategies for reducing fine-tuning cost, yet they are typically driven by separate scoring mechanisms. When a parameter mask and data subset jointly determine restricted fine-tuning, this separation incurs redundant overhead and makes coordinated selection difficult. We cast parameter and data selection as two bilevel selection problems under a common validation objective and derive a shared local response-surrogate scoring rule. Under first- and second-order validation-improvement approximations, parameter importance and data utility emerge as column-wise and row-wise aggregations of a single gradient interaction matrix, yielding a closed-form row-column correspondence for co-extracting both signals. Building on this structure, we propose DualSFT (Dual-Selection Fine-Tuning), a one-shot dual-scoring algorithm that produces a parameter mask and data subset from shared gradient statistics. On 3B-9B LLMs, single-axis DualSFT variants strengthen target-task performance and stability-plasticity trade-offs within their comparison groups, while full DualSFT yields a more favorable joint-constrained trade-off than sequential hybrid baselines under matched budgets.
• Abstract（参考訳）: 大規模言語モデル(LLM)では、パラメータとデータの選択は微調整コストを削減するための一般的な戦略であるが、通常は別々のスコアリング機構によって駆動される。 パラメータマスクとデータサブセットが制約された微調整を共同で決定すると、この分離は冗長なオーバーヘッドが発生し、協調選択が困難になる。 パラメータとデータ選択を共通の評価目標の下で2つの二段階選択問題とし,共通局所応答代理スコアリングルールを導出する。 一階と二階の検証改善近似の下で、パラメータの重要度とデータユーティリティは、単一の勾配相互作用行列の列次および行次アグリゲーションとして出現し、両方の信号の共抽出のための閉形式の行列対応を生成する。 この構造に基づいて、共有勾配統計量からパラメータマスクとデータサブセットを生成する1ショットのデュアルスコアアルゴリズムであるDualSFT(Dual-Selection Fine-Tuning)を提案する。 3B-9B LLMでは、単一軸DualSFTは目標タスク性能と安定塑性トレードオフを強化し、フルDualSFTは整合した予算下での連続ハイブリッドベースラインよりも、より有利な共同制約トレードオフをもたらす。

関連論文リスト

• RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation [19.76481955873559]
  小型言語モデル(SLM)は、資源制約のある環境での検索強化世代(RAG)にとって魅力的である。 本稿では,3段階の選好最適化フレームワークRIMSを提案する。 提案手法は,複数のSLMバックボーンにまたがる最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-17T18:24:19Z)
• Fixed-Parameter Tractability of Private Synthetic Data Generation [84.99100741615423]
  差分プライバシーの下で合成データを生成する問題について検討する。 我々のアルゴリズムは、全てのレシスタンスで最適なエラー率を獲得し、2つの異なるアプローチで実現されている。
  論文  参考訳（メタデータ） (2026-06-09T15:14:11Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Contextual Plackett-Luce: An Efficient Neural Model for Probabilistic Sequence Selection under Ambiguity [4.162695034027842]
  コンテキストプラケット・リュック(Contextual Plackett-Luce)は、配列選択のための構造化確率モデルである。 完全自己回帰予測と並列シーケンス選択のハイブリッドと見なすことができる。 強い平行基線に比べて構造整合性を改善し、曖昧な監督を受ける。
  論文  参考訳（メタデータ） (2026-05-09T18:52:53Z)
• Towards a Data-Parameter Correspondence for LLMs: A Preliminary Discussion [10.237445112597095]
  大規模な言語モデルの最適化は、歴史的に孤立したデータ中心のパラダイムとモデル中心のパラダイムに二分されてきた。 本稿では,同じ幾何学的構造の二重表現として,これらが異なっていたことを明らかにするために,統一的な音声データ-パラメータ対応を確立した。
  論文  参考訳（メタデータ） (2026-04-19T11:18:03Z)
• GIST: Targeted Data Selection for Instruction Tuning via Coupled Optimization Geometry [4.94446914034065]
  GIST (Gradient Isometric Subspace Transformation) は、軸方向のスケーリングをロバストな部分空間アライメントに置き換える。 GISTは, ストレージの0.29%, 計算時間の25%で, 最先端のベースラインに適合または優れることを示す。
  論文  参考訳（メタデータ） (2026-02-20T19:44:24Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• TACOS: Open Tagging and Comparative Scoring for Instruction Fine-Tuning Data Selection [9.020110377060153]
  We present TACOS, a innovative method that integrates Open Tagging and Comparison Scoring for IFT data selection。 データの多様性を捉えるために、LLMを活用して、オープンドメインタグを人間のクエリに割り当てる。 本稿では,クラスタ内のサンプルの相対的品質評価を可能にする比較評価手法を提案する。
  論文  参考訳（メタデータ） (2025-07-04T15:46:07Z)
• Adaptive and Robust DBSCAN with Multi-agent Reinforcement Learning [53.527506374566485]
  本稿では,多エージェント強化学習クラスタフレームワーク,すなわちAR-DBSCANを用いた新しいAdaptive and Robust DBSCANを提案する。 我々は、AR-DBSCANが、NMIおよびARIメトリクスの最大144.1%と175.3%のクラスタリング精度を向上するだけでなく、支配的なパラメータを確実に見つけることができることを示した。
  論文  参考訳（メタデータ） (2025-05-07T11:37:23Z)
• Joint Transmit and Pinching Beamforming for Pinching Antenna Systems (PASS): Optimization-Based or Learning-Based? [89.05848771674773]
  MISO (Multiple-input Single-output) フレームワークを提案する。 それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。 PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
  論文  参考訳（メタデータ） (2025-02-12T18:54:10Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity [4.2059108111562935]
  Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。 本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。 我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T15:58:33Z)
• Ensemble Model with Batch Spectral Regularization and Data Blending for Cross-Domain Few-Shot Learning with Unlabeled Data [75.94147344921355]
  多様な特徴変換行列を用いてマルチブランチアンサンブルフレームワークを構築する。 本研究では,未ラベルデータを利用したデータブレンディング手法を提案し,対象領域におけるスパースサポートを増強する。
  論文  参考訳（メタデータ） (2020-06-08T02:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。