論文の概要: HOFT: Householder Orthogonal Fine-tuning

• arxiv url: http://arxiv.org/abs/2505.16531v1
• Date: Thu, 22 May 2025 11:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.249681
• Title: HOFT: Householder Orthogonal Fine-tuning
• Title（参考訳）: HOFT:家事の直交微調整
• Authors: Alejandro Moreno Arcas, Albert Sanchis, Jorge Civera, Alfons Juan,
• Abstract要約: SHOFT(Houseer Orthogonal Fine-tuning)とSHOFT(Scaled Householder Orthogonal Fine-tuning)を評価した。 最先端の適応手法と比較して、HOFTとSHOFTは同等またはより良い結果を示す。
• 参考スコア（独自算出の注目度）: 45.8130844084218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptation of foundation models using low-rank methods is a widespread approach. Another way to adapt these models is to employ orthogonal fine-tuning methods, which are less time and memory efficient despite their good generalization properties. In this work, we propose Householder Orthogonal Fine-tuning (HOFT), a novel orthogonal fine-tuning method that aims to alleviate time and space complexity. Moreover, some theoretical properties of the orthogonal fine-tuning paradigm are explored. From this exploration, Scaled Householder Orthogonal Fine-tuning (SHOFT) is proposed. Both HOFT and SHOFT are evaluated in downstream tasks, namely commonsense reasoning, machine translation, subject-driven generation and mathematical reasoning. Compared with state-of-the-art adaptation methods, HOFT and SHOFT show comparable or better results.
• Abstract（参考訳）: 低ランク手法を用いた基礎モデルの適応化は広く行われているアプローチである。 これらのモデルを適用する別の方法は直交微調整法を採用することである。 本研究では,時間と空間の複雑さを軽減することを目的とした,新しい直交微調整法であるHouselyer Orthogonal Fine-tuning (HOFT)を提案する。 さらに、直交微調整パラダイムのいくつかの理論的性質を探求する。 この調査から,SHOFT(Scaled Householder Orthogonal Fine-tuning)を提案する。 HOFTとSHOFTはどちらも、コモンセンス推論、機械翻訳、主観駆動生成、数学的推論といった下流タスクで評価される。 最先端の適応手法と比較して、HOFTとSHOFTは同等またはより良い結果を示す。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation [32.371755315509574]
  家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。 HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-24T16:18:16Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Recent advances in Bayesian optimization with applications to parameter reconstruction in optical nano-metrology [0.0]
  光ナノメートル法では 再構築が一般的な問題です 本稿では,2つのアプローチを組み合わせたベイズ目標ベクトル最適化手法を提案する。 提案手法は一般に、類似の再構成性能を達成するために、競合するどのスキームよりもモデル関数の呼び出しが少ないことが判明した。
  論文  参考訳（メタデータ） (2021-07-12T15:32:15Z)
• Deep Contrastive Graph Representation via Adaptive Homotopy Learning [76.22904270821778]
  Homotopyモデルは、機械学習の分野におけるさまざまな研究によって活用される優れたツールである。 マクローリン双対性を用いる新しい適応ホモトピーフレームワーク(AH)を提案する。 AHはホモトピーに基づくアルゴリズムを強化するために広く利用することができる。
  論文  参考訳（メタデータ） (2021-06-17T04:46:04Z)
• Adapting by Pruning: A Case Study on BERT [9.963251767416967]
  対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。 本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。 以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-07T15:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。