論文の概要: SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass

• arxiv url: http://arxiv.org/abs/2602.06358v1
• Date: Fri, 06 Feb 2026 03:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.220107
• Title: SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
• Title（参考訳）: Shine: 単一パスでコンテキストをLoRAにマッピングするためのスケーラブルなインコンテキストハイパーネットワーク
• Authors: Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelbery, Haggai Maron, Muhan Zhang,
• Abstract要約: Shineはスケーラブルなハイパーネットワークで、様々な意味のあるコンテキストを大規模言語モデル(LLM)用の高品質なLoRAアダプタにマッピングできる プリトレーニングと命令の微調整パイプラインを導入し,高速なLoRAアダプタを1回のフォワードパスで生成するようにハイパーネットワークを訓練する。 本研究は, SFT による LLM 適応と比較して, 処理時間, 計算時間, メモリコストを大幅に削減し, スケーリングの可能性を示す。
• 参考スコア（独自算出の注目度）: 55.28352410490407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose SHINE (Scalable Hyper In-context NEtwork), a scalable hypernetwork that can map diverse meaningful contexts into high-quality LoRA adapters for large language models (LLM). By reusing the frozen LLM's own parameters in an in-context hypernetwork design and introducing architectural innovations, SHINE overcomes key limitations of prior hypernetworks and achieves strong expressive power with a relatively small number of parameters. We introduce a pretraining and instruction fine-tuning pipeline, and train our hypernetwork to generate high quality LoRA adapters from diverse meaningful contexts in a single forward pass. It updates LLM parameters without any fine-tuning, and immediately enables complex question answering tasks related to the context without directly accessing the context, effectively transforming in-context knowledge to in-parameter knowledge in one pass. Our work achieves outstanding results on various tasks, greatly saves time, computation and memory costs compared to SFT-based LLM adaptation, and shows great potential for scaling. Our code is available at https://github.com/Yewei-Liu/SHINE
• Abstract（参考訳）: 多様な意味のあるコンテキストを大規模言語モデル(LLM)用の高品質なLoRAアダプタにマッピングできるスケーラブルなハイパーネットワークであるShine(Scalable Hyper In-context NEtwork)を提案する。 凍結したLLMのパラメータをコンテキスト内ハイパーネットワーク設計で再利用し、アーキテクチャの革新を導入することで、ShiNEは以前のハイパーネットワークの重要な制限を克服し、比較的少数のパラメータで強力な表現力を達成する。 プリトレーニングと命令の微調整パイプラインを導入し、ハイパーネットワークをトレーニングし、1つのフォワードパスで様々な意味のあるコンテキストから高品質なLoRAアダプタを生成する。 LLMパラメータを微調整なしで更新し、コンテキストに直接アクセスすることなくコンテキストに関連する複雑な質問応答タスクを即座に実現し、コンテキスト内知識を1パスでパラメータ内知識に効果的に変換する。 本研究は, SFT による LLM 適応と比較して, 処理時間, 計算時間, メモリコストを大幅に削減し, スケーリングの可能性を示す。 私たちのコードはhttps://github.com/Yewei-Liu/SHINEで利用可能です。

関連論文リスト

• RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
  RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。 役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。 軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
  論文  参考訳（メタデータ） (2025-08-06T21:59:34Z)
• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• The Compressor-Retriever Architecture for Language Model OS [20.56093501980724]
  オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。 このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。 本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T23:28:15Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。