論文の概要: Sparse Fine-Tuning of Transformers for Generative Tasks

• arxiv url: http://arxiv.org/abs/2507.10855v1
• Date: Mon, 14 Jul 2025 23:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:02.91521
• Title: Sparse Fine-Tuning of Transformers for Generative Tasks
• Title（参考訳）: 生成タスク用変圧器のスパース微調整
• Authors: Wei Chen, Jingxi Yu, Zichen Miao, Qiang Qiu,
• Abstract要約: スパースコーディングにインスパイアされた微調整フレームワークを導入し、細調整された特徴を基本要素のスパース結合として表現する。 特徴辞書原子は表現の基本的な構成要素として機能し、チューニング原子は下流タスクへのシームレスな適応を可能にする。
• 参考スコア（独自算出の注目度）: 25.83571722912947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained transformers have revolutionized artificial intelligence across various domains, and fine-tuning remains the dominant approach for adapting these models to downstream tasks due to the cost of training from scratch. However, in existing fine-tuning methods, the updated representations are formed as a dense combination of modified parameters, making it challenging to interpret their contributions and understand how the model adapts to new tasks. In this work, we introduce a fine-tuning framework inspired by sparse coding, where fine-tuned features are represented as a sparse combination of basic elements, i.e., feature dictionary atoms. The feature dictionary atoms function as fundamental building blocks of the representation, and tuning atoms allows for seamless adaptation to downstream tasks. Sparse coefficients then serve as indicators of atom importance, identifying the contribution of each atom to the updated representation. Leveraging the atom selection capability of sparse coefficients, we first demonstrate that our method enhances image editing performance by improving text alignment through the removal of unimportant feature dictionary atoms. Additionally, we validate the effectiveness of our approach in the text-to-image concept customization task, where our method efficiently constructs the target concept using a sparse combination of feature dictionary atoms, outperforming various baseline fine-tuning methods.
• Abstract（参考訳）: 大規模な事前学習型トランスフォーマーは、さまざまな領域にわたって人工知能に革命をもたらしており、微調整は、スクラッチからトレーニングするコストのために、これらのモデルを下流タスクに適応するための主要なアプローチである。 しかし、既存の微調整法では、更新された表現は修正されたパラメータの密結合として形成され、それらの寄与を解釈し、モデルが新しいタスクにどのように適応するかを理解することは困難である。 本研究では,スパース符号にインスパイアされた微調整フレームワークを導入し,細調整された特徴を基本要素,すなわち特徴辞書原子のスパース結合として表現する。 特徴辞書原子は表現の基本的な構成要素として機能し、チューニング原子は下流タスクへのシームレスな適応を可能にする。 スパース係数は、更新された表現に対する各原子の寄与を識別し、原子の重要性の指標として機能する。 スパース係数の原子選択能力を生かし、重要でない特徴辞書原子の除去によるテキストアライメントの改善により、画像編集性能を向上させることを最初に実証した。 さらに,テキスト・イメージ・コンセプトのカスタマイズタスクにおいて,提案手法の有効性を検証し,特徴辞書原子の疎結合を用いて目的概念を効率的に構築し,様々なベースライン微調整法より優れていることを示す。

関連論文リスト

• Optimal Invariant Bases for Atomistic Machine Learning [1.8849301976115886]
  多くの機械学習モデルは原子の局所環境を記述するが、その多くは不完全または機能的依存である。 我々は、パターン認識文学から既存の原子論的な表現に至るまでの技法を用いて、完全性を満たす最小の集合を生成する。 これにより、各ニューロンに最大5体パターンを認識可能な、メッセージパッシングネットワークアーキテクチャが新たに構築されることを示す。
  論文  参考訳（メタデータ） (2025-03-30T16:52:29Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Atom dimension adaptation for infinite set dictionary learning [0.6554326244334866]
  辞書学習における集合原子のサイズを適応的に調整する手法を提案する。 提案アルゴリズムは表現誤差を低減させるだけでなく,異常検出も改善する。
  論文  参考訳（メタデータ） (2024-09-10T19:18:03Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)
• Adaptive Convolutions with Per-pixel Dynamic Filter Atom [24.691793951360914]
  画素ごとの適応フィルタによるスケーラブルな動的畳み込みを導入する。 コンボリューション層へのプラグアンドプレイ置換として、ピクセル単位の動的原子による適応的畳み込みは、画像内分散の明示的なモデリングを可能にする。 本稿では,提案手法がタスク間で同等あるいはさらに優れたパフォーマンスを実現することを示す実験を行う。
  論文  参考訳（メタデータ） (2021-08-17T22:04:10Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。