論文の概要: Zhyper: Factorized Hypernetworks for Conditioned LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2510.19733v1
• Date: Wed, 22 Oct 2025 16:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.137017
• Title: Zhyper: Factorized Hypernetworks for Conditioned LLM Fine-Tuning
• Title（参考訳）: Zhyper: LLMファインチューニングのためのファクトリ化ハイパーネット
• Authors: M. H. I. Abdalla, Zhipin Wang, Christian Frey, Steffen Eger, Josif Grabocka,
• Abstract要約: LLM(Large Language Model)とは、LLMに特定の文化の規範や価値観に従ってコンテンツを生成するよう指示することである。 Zhyperは、コンテキスト認識型LoRAアダプタを生成するパラメータ効率の係数化ハイパーネットワークフレームワークである。 複数のベンチマークの実験では、Zhyperの競合性能は最先端のベースラインよりも最大で26倍も低いことが示されている。
• 参考スコア（独自算出の注目度）: 29.878651048116186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) conditioning refers to instructing an LLM to generate content in accordance with the norms and values of a specific culture, beliefs of a particular political orientation, or any desired text-specified semantic conditioning. Unfortunately, prompt engineering does not ensure that LLMs behave in accordance with a desired conditioning due to the inductive bias of the pre-training and alignment datasets. Prior works have focused on fine-tuning LLMs by directly conditioning the LoRA weights; however, such methods introduce a large number of parameters. As a remedy, we propose Zhyper, a parameter-efficient factorized hypernetwork framework that generates context-aware LoRA adapters from textual descriptions. Experiments on multiple benchmarks show that Zhyper achieves competitive performance with up to 26x fewer parameters than the state-of-the-art baselines. Furthermore, we extend Zhyper to cultural alignment, demonstrating improved generalization to out-of-domain settings and a better capturing of fine-grained contextual values.
• Abstract（参考訳）: LLM(Large Language Model)条件付け(LLM)とは、特定の文化の規範や価値観、特定の政治的指向の信念、あるいは任意の所望のテキスト特定セマンティック条件付けに従って、LLMにコンテンツを生成するよう指示することである。 残念ながら、迅速なエンジニアリングは、事前トレーニングとアライメントデータセットの帰納バイアスのため、LLMが望ましい条件に従って振る舞うことを保証しません。 従来の研究はLoRA重みを直接条件付けすることで微調整LSMに焦点を合わせてきたが、そのような手法は多数のパラメータを導入している。 そこで本稿では,テキスト記述からコンテキスト認識型LoRAアダプタを生成するパラメータ効率因子化ハイパーネットワークフレームワークであるZhyperを提案する。 複数のベンチマークの実験では、Zhyperは最先端のベースラインよりも最大26倍のパラメータで競合性能を達成している。 さらに、Zhyperを文化的アライメントに拡張し、ドメイン外設定への一般化を改善し、よりきめ細かいコンテキスト値のキャプチャを向上する。

関連論文リスト

• HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models [30.345920952847752]
  大規模言語モデル(LLM)は、自然言語処理領域などに革命をもたらし、目覚ましいブレークスルーを達成した。 膨大なパラメータサイズのため、様々な下流タスクのためのプライベートデータでこれらのモデルを微調整することが主流になっている。 本研究では,分割学習(SL)と低ランク適応(LoRA)に基づくフレームワークであるHSplitLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-05T17:09:19Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• CLoQ: Enhancing Fine-Tuning of Quantized LLMs via Calibrated LoRA Initialization [2.975939846457057]
  低ランク適応 (LoRA) を用いた細調整型大規模言語モデル (LLM) は, 下流タスクにおいて極めて効率的なアプローチとなっている。 量子化LLMにLoRA技術を適用すると、量子化重みの表現精度が低下するため、ユニークな課題が生じる。 CLoQは、これらの課題を克服するために設計された、単純化された初期化戦略である。
  論文  参考訳（メタデータ） (2025-01-30T16:48:15Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Sketch to Adapt: Fine-Tunable Sketches for Efficient LLM Adaptation [33.05581803204543]
  事前訓練された大規模言語モデル(LLM)の適応は極めて重要であるが、その巨大なサイズのため困難である。 スケッチチューン(SketchTune)は、重みをコンパクトな微調整可能なスケッチに圧縮する圧縮適応戦略である。 SketchTuneは、低ランクメソッドではなくスケッチによって近似された行列クラスに関する数学的洞察によってサポートされている。
  論文  参考訳（メタデータ） (2024-10-08T20:58:24Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• Using Large Language Models for Hyperparameter Optimization [29.395931874196805]
  本稿では,高パラメータ最適化(HPO)における基礎的大規模言語モデル(LLM)の利用について検討する。 標準ベンチマークに対する実証的な評価により,LLMは従来のHPO手法に適合あるいは優れることがわかった。
  論文  参考訳（メタデータ） (2023-12-07T18:46:50Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。