論文の概要: Efficient Test-Time Finetuning of LLMs via Convex Reconstruction and Gradient Caching

• arxiv url: http://arxiv.org/abs/2605.30337v1
• Date: Thu, 28 May 2026 17:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.748535
• Title: Efficient Test-Time Finetuning of LLMs via Convex Reconstruction and Gradient Caching
• Title（参考訳）: 凸再構成とグラディエントキャッシングによるLCMの効率的な試験時間微細化
• Authors: Alaa Khamis, Alaa Maalouf,
• Abstract要約: テストタイム微調整(TTFT)は、各プロンプトに言語モデルを適用する、急速に進化するパラダイムである。 TTFTは高速な場合のみ実用的であり、クエリ毎に選択と微調整が行われ、それぞれが直接ボトルネックとなる。 我々は、両方のボトルネックに対処するTTFTの幾何学的アプローチであるHullFTを紹介する。
• 参考スコア（独自算出の注目度）: 9.304998332555952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time finetuning (TTFT) is a rapidly evolving paradigm that adapts a language model to each prompt by retrieving related sequences, updating the model on them, and then evaluating the prompt. However, TTFT is only practical if it is fast: selection and finetuning both happen per query, making each a direct bottleneck. Existing methods trade speed for quality: fast retrieval is often redundant, while stronger diversity-aware selection adds prohibitive per-query cost. We introduce HullFT, a geometric approach to TTFT that addresses both bottlenecks. Given a query, HullFT first represents the query embedding as a sparse convex combination of few training sequences, using efficient projection-free Frank-Wolfe optimization. This yields a support set that is inherently relevant and diverse. We then convert the fractional convex weights into an exact integer multiset for finetuning through a geometric integerization procedure. The resulting multiplicities naturally create repeated examples, which we exploit with Gradient Reuse to amortize forward-backward computation across repeated finetuning steps. Our experiments show that HullFT improves the quality-efficiency tradeoff over current state-of-the-art TTFT methods, achieving lower bits-per-byte at substantially lower total runtime.
• Abstract（参考訳）: TTFT(Test-time Finetuning)は、言語モデルを各プロンプトに適応させ、関連するシーケンスを検索し、モデルを更新し、それからプロンプトを評価する、急速に進化するパラダイムである。 しかし、TTFTは高速な場合のみ実用的であり、クエリ毎に選択と微調整が行われ、それぞれが直接ボトルネックとなる。 高速検索はしばしば冗長であり、多様性に敏感な選択はクエリごとの禁止コストを増大させる。 我々は、両方のボトルネックに対処するTTFTの幾何学的アプローチであるHullFTを紹介する。 クエリが与えられたとき、HullFTはまず、効率的なプロジェクションフリーのFrank-Wolfe最適化を用いて、少数のトレーニングシーケンスのスパース凸結合としてクエリ埋め込みを表現した。 これにより、本質的に関連性があり多様なサポートセットが得られる。 次に、分数凸重みを正確な整数多重集合に変換し、幾何的な整数化手順で微調整する。 結果として得られる多重性は自然に繰り返しの例を生成し、グラディエント・リユース(Gradient Reuse)を用いて、反復的な微調整ステップをまたいだ前方の計算を補正する。 実験の結果,HullFT は現在の TTFT 法よりも高い効率で効率の良いトレードオフを実現し,全実行時において低ビット/バイトを実現していることがわかった。

関連論文リスト

• RubiConv -- Efficient Boundary-Respecting Convolutions [16.714478912341708]
  そこで本研究では,ハードウェア効率の良い境界参照畳み込み処理を行う新しいアルゴリズムを開発した。 RubiConvは、注目と標準FFTベースのベースラインの両方において、大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-05-08T20:17:12Z)
• Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization [10.36384630923661]
  取得関数を最大化することにより,高い性能パラメータを効率的に見つける方法を示す。 この問題に対処するために、理論上同一のQNN取得関数の収束を分離することを提案する。
  論文  参考訳（メタデータ） (2025-11-17T17:32:32Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Tractable Bounding of Counterfactual Queries by Knowledge Compilation [51.47174989680976]
  本稿では, パール構造因果モデルにおいて, 因果関係などの部分的特定可能なクエリのバウンダリングの問題について議論する。 最近提案された反復EMスキームは初期化パラメータをサンプリングしてそれらの境界を内部近似する。 シンボルパラメータを実際の値に置き換えた回路構造を,単一のシンボル知識コンパイルによって得られることを示す。
  論文  参考訳（メタデータ） (2023-10-05T07:10:40Z)
• Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
  ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。 本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。 次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-26T19:56:45Z)
• Slowly Varying Regression under Sparsity [5.22980614912553]
  本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。 本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。 結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-22T04:51:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。