論文の概要: LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers

• arxiv url: http://arxiv.org/abs/2606.16243v1
• Date: Mon, 15 Jun 2026 05:42:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.100058
• Title: LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
• Title（参考訳）: LiFT:Overfitting-Controlled Transformersのための線形プログラミングによるローカル検索
• Authors: Abhishek Shukla, Anikeit Khanna, Ankur Sinha, Faiz Hamid,
• Abstract要約: 本稿では,過適合に対する明示的な制御を施した微調整変圧器モデルのための線形プログラミング(LP)に基づく局所探索フレームワークを提案する。 GPT-2 WikiText-2 での小型化実験により,変圧器ブロックと正規化パラメータの選択的チューニングにより,LiFT が効果的に適応できることが実証された。
• 参考スコア（独自算出の注目度）: 0.16866396683295748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a Linear Programming (LP)-based local search framework for fine-tuning pretrained transformer models with explicit control against overfitting. The approach formulates transformer fine-tuning as a bilevel optimization-based regularization problem, in which model parameters and regularization hyperparameters are jointly updated. Information collected during initial warm-up iterations, including validation gradients and training Hessian information, is used to construct a local descent direction by solving an LP that minimizes a scaled directional derivative while preserving training optimality. This validation-aware descent direction enables focused local updates of both parameters and regularization hyperparameters, reducing overfitting without requiring repeated full retraining cycles. The resulting method, termed Linear Programming-based Fine-Tuning (LiFT) for transformers, differs from conventional fine-tuning by systematically identifying task-specific updates rather than relying on heuristic or grid-based hyperparameter selection. Experiments on GPT-2 Small fine-tuned on WikiText-2 demonstrate that LiFT enables effective adaptation through selective tuning of transformer blocks and regularization parameters, yielding consistent improvements in test perplexity across multiple layer configurations and regularization settings, with particularly pronounced gains in overfitting-prone scenarios. Beyond empirical performance, LiFT establishes a principled connection between transformer fine-tuning, bilevel optimization, local search, and regularization theory.
• Abstract（参考訳）: 本稿では, オーバーフィッティングに対して明示的な制御を施した, 微調整事前学習型変圧器モデルのための線形プログラミング(LP)に基づく局所探索フレームワークを提案する。 この手法は、モデルパラメータと正規化ハイパーパラメータを共同で更新する二レベル最適化に基づく正規化問題として、トランスフォーマーの微調整を定式化する。 検証勾配やトレーニングヘッセン情報を含む初期ウォームアップイテレーション中に収集された情報を用いて、トレーニング最適性を維持しながら、スケールされた方向微分を最小化するLPを解くことにより、局所的な降下方向を構築する。 このバリデーション対応降下方向は、パラメータと正規化ハイパーパラメータの両方を集中的に局所的に更新することを可能にする。 リニアプログラミングに基づくトランスフォーマーのためのファインチューニング(LiFT)と呼ばれるこの手法は、ヒューリスティックやグリッドベースのハイパーパラメータ選択に頼るのではなく、タスク固有の更新を体系的に識別することで従来のファインチューニングとは異なる。 GPT-2の実験 WikiText-2で微調整された小さな実験では、LiFTはトランスフォーマーブロックと正規化パラメータを選択的にチューニングすることで、複数のレイヤ構成と正規化設定におけるテストパープレキシティの一貫性の向上を実現している。 経験的性能以外にも、LiFTはトランスフォーマーの微調整、二段階最適化、局所探索、正規化理論の原理的な接続を確立している。

関連論文リスト

• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• DRAFTO: Decoupled Reduced-space and Adaptive Feasibility-repair Trajectory Optimization for Robotic Manipulators [4.0407133618465005]
  本稿では、トラジェクトリ最適化のための新しいアルゴリズム、Decoupled Reduced-spaceとAdaptive Feasibility-Repair Trajectory Optimization (DRAFTO)を提案する。 連立限界実現性を扱いながら繰り返し制約された最適化の回数を減らすため、最適化を低空間ガウスニュートン(Gass-Newton, GN)降下に分離する。 CHOMP, TrajOpt, GPMP2, FACTOなどの最適化型プランナに対するベンチマークテストの結果, 様々なシナリオやタスクにおいて高い効率性と信頼性が検証された。
  論文  参考訳（メタデータ） (2026-03-10T20:24:42Z)
• Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
  本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。 FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。 本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
  論文  参考訳（メタデータ） (2026-02-05T20:16:10Z)
• A Constrained Optimization Perspective of Unrolled Transformers [77.12297732942095]
  我々は、最適化降下アルゴリズムのように振る舞う変圧器の訓練のための制約付き最適化フレームワークを導入する。 拘束型変圧器は摂動の強靭性を実現し,より高い分布分布一般化を維持する。
  論文  参考訳（メタデータ） (2026-01-24T02:12:39Z)
• Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization [13.97375970293678]
  DPO(Direct Preference Optimization)は、その単純さと訓練安定性から、オフライン優先最適化アルゴリズムとして広く使われている。 3つの重要なイノベーションを特徴とする新しいアライメントフレームワークであるLinear Preference Optimization (LPO)を提案する。 まず,対数シグモイド関数を絶対差分損失に置き換え,最適化力学を分離することで勾配デカップリングを導入する。 第2に、選択された応答品質を維持するために、オフセット制約と正の正則化項を組み合わせることで安定性を向上させる。 第3に、直感的な推定を伴う勾配分離と、その相対確率の降下を線形に制御する調整可能な係数を用いて、制御可能な拒絶抑制を実装した。
  論文  参考訳（メタデータ） (2025-08-20T10:17:29Z)
• GeneralizeFormer: Layer-Adaptive Model Generation across Test-Time Distribution Shifts [58.95913531746308]
  テスト時間領域の一般化の問題は、モデルが複数のソースドメインで訓練され、トレーニング中に見たことのないターゲットドメインで調整される場合である。 textitGeneralizeFormer と呼ばれる軽量メタ学習変換器を用いて,推論中に複数の層パラメータを生成することを提案する。
  論文  参考訳（メタデータ） (2025-02-15T10:10:49Z)
• Generalized Preference Optimization: A Unified Approach to Offline Alignment [54.97015778517253]
  本稿では,一般的な凸関数のクラスによってパラメータ化されるオフライン損失の族である一般化された選好最適化(GPO)を提案する。 GPOは、DPO、IPO、SLiCといった既存のアルゴリズムを特別なケースとして含む、優先最適化に関する統一的なビューを可能にする。 本研究は,新たなアルゴリズムツールキットと経験的洞察を実践者のアライメントに提示する。
  論文  参考訳（メタデータ） (2024-02-08T15:33:09Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。