論文の概要: From Parameters to Data: A Task-Parameter-Guided Fine-Tuning Pipeline for Efficient LLM Alignment

• arxiv url: http://arxiv.org/abs/2605.21558v1
• Date: Wed, 20 May 2026 14:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.939933
• Title: From Parameters to Data: A Task-Parameter-Guided Fine-Tuning Pipeline for Efficient LLM Alignment
• Title（参考訳）: パラメータからデータへ:効率的なLCMアライメントのためのタスクパラメータ誘導ファインチューニングパイプライン
• Authors: Hao Chen, Qi Zhang, Liyao Li, Zhanming Shen, Wentao Ye, Lirong Gao, Ningtao Wang, Xing Fu, Xiaoyu Shen, Junbo Zhao,
• Abstract要約: 特定のドメインに大規模言語モデルを適用すると、通常、高いデータと計算オーバーヘッドが発生する。 我々は,作業に敏感なアテンションヘッドをサンプルマイニングと構造解析の両方のための二重コンパスとして活用する統合フレームワークであるFrom Parameters to Data (P2D)を提案する。 10%のデータに対してわずか10%の注意を更新することで、P2Dは強いベースラインよりも8.3ppの性能向上を実現し、エンド・ツー・エンドのスピードアップを7.0倍に向上させる。
• 参考スコア（独自算出の注目度）: 25.31490513309034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting Large Language Models (LLMs) to specialized domains typically incurs high data and computational overhead. While prior efficiency efforts have largely treated data selection and parameter-efficient fine-tuning as isolated processes, our empirical analysis suggests they may be intrinsically coupled. We posit the Strong Map Hypothesis: a sparse subset of attention heads plays a dominant role in task-specific adaptation, acting as keys that unlock specific data patterns. Building on this observation, we propose From Parameters to Data (P2D), a unified framework that leverages these task-sensitive attention heads as a dual compass for both sample mining and structural pruning. To rigorously quantify the total pipeline cost, we introduce the Alignment Efficiency Ratio (AER) metric for both selection latency and training time. Mechanistically, P2D identifies critical heads via a lightweight proxy and uses them as a functional filter to curate high-affinity data, establishing a synergistic pipeline. Empirically, by updating merely 10% of attention heads on 10% of the data, P2D achieves an 8.3 pp performance gain over strong baselines and delivers a 7.0x end-to-end time speedup. These results validate that precise parameter-data synchronization eliminates redundancy, offering a new paradigm for efficient alignment.
• Abstract（参考訳）: LLM(Large Language Models)を専門分野に適用することは、通常、高いデータと計算オーバーヘッドを引き起こす。 先行効率の取り組みは、データ選択とパラメータ効率の微調整を独立したプロセスとして主に扱ってきたが、我々の経験的分析は、それらが本質的に結合されていることを示唆している。 注目の少ないサブセットは、特定のデータパターンをアンロックするキーとして機能し、タスク固有の適応において支配的な役割を果たす。 そこで本研究では,これらの課題に敏感なアテンションヘッドを,サンプルマイニングと構造解析の両面のコンパスとして活用する統合フレームワークであるFrom Parameters to Data (P2D)を提案する。 パイプライン全体のコストを厳密に定量化するために、選択待ち時間とトレーニング時間の両方にアライメント効率比(AER)指標を導入する。 機械的には、P2Dは軽量プロキシを介してクリティカルヘッドを特定し、高親和性データをキュレートする関数フィルタとして使用し、シナジスティックパイプラインを確立する。 P2Dは、データの10%でわずか10%の注意を更新することで、強力なベースラインよりも8.3ppのパフォーマンス向上を実現し、エンド・ツー・エンドのスピードアップを7.0倍に向上させる。 これらの結果は、パラメータデータの正確な同期が冗長性を排除し、効率的なアライメントのための新しいパラダイムを提供することを示す。

関連論文リスト

• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance [13.636389424786854]
  各タスクのコアパラメータは、統一されたバックボーンに移植される。 異なるタスクの非コアパラメータは、Spherical Linear Interpolationを通じてスムーズに統合される。 複数の公開ベンチマークの実験は、我々のアプローチがタスクの干渉や忘れを著しく軽減していることを示している。
  論文  参考訳（メタデータ） (2025-08-29T16:07:33Z)
• D2S-FLOW: Automated Parameter Extraction from Datasheets for SPICE Model Generation Using Large Language Models [3.7324910012003656]
  D2S-FLOWは、高精度で効率の良いSPICEモデルを生成する自動化フレームワークである。 これは、構造化されていないドキュメントや一貫性のない命名規則を扱う際の精度を高めるワークフローを使用している。 これは0.86のエクサクトマッチ(EM)、0.92のF1スコア、0.96のエクサクト正確度(EC)を達成し、それぞれ19.4%、5.7%、13.1%という最強のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-02-23T11:19:44Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• A Deep Dive into the Trade-Offs of Parameter-Efficient Preference Alignment Techniques [63.10251271444959]
  大規模言語モデルは最初、数兆のトークンで事前訓練され、その後、特定の好みに合わせて命令調整または調整される。 我々は,3つの重要な軸に対する人気選択の影響を詳細に調査する。 300以上の実験にまたがるセットアップでは、一貫した傾向と予期せぬ結果が明らかになる。
  論文  参考訳（メタデータ） (2024-06-07T12:25:51Z)
• HiFi: High-Information Attention Heads Hold for Parameter-Efficient Model Adaptation [0.8409934249521909]
  パラメータ効率の高い微調整手法であるHiFiを提案する。 まず,2つの情報豊かさと相関性の観点から,頭部間の関係をグラフにモデル化し,各頭部の相対的重要性を決定するためにPageRankアルゴリズムを適用した。 GLUEベンチマークを用いた実験により,提案手法の有効性を実証し,HiFiが先行ベースライン上での最先端性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-08T09:31:13Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。