論文の概要: Learn-to-learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM
- arxiv url: http://arxiv.org/abs/2605.01973v1
- Date: Sun, 03 May 2026 17:13:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.027798
- Title: Learn-to-learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM
- Title（参考訳）: 任意テクスチャコンディショニングの学習--ハイパーネットワーク駆動型メタゲートLDM
- Authors: Luo Ji, Qi Qin, Ningyuan Xi, Teng Chen, Qingqing Gu, Hongyan Li,
- Abstract要約: 本稿では,SwiGLUブロック内で$$のメタシグナルを活性化し,FFNの非線形性を適応的に調整するメタゲーティング機構を実現する。
タスク,ドメイン,ペルソナ,スタイルなどの異なる条件タイプでテストすることで,本手法は微調整やメタラーニングのベースラインよりも優れる。
- 参考スコア（独自算出の注目度）: 5.325313097784103
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Conventional LLMs may suffer from corpus heterogeneity and subtle condition changes. While finetuning can create the catastrophe forgetting issue, application of meta-learning on LLMs is also limited due to its complexity and scalability. In this paper, we activate the meta-signal of $β$ within the SwiGLU blocks, resulting in a meta-gating mechanism that adaptively adjusts the nonlinearity of FFN. A hypernetwork is employed which dynamically produces $β$ on textual conditions, providing meta-controllability on LLMs. By testing on different condition types such as task, domain, persona, and style, our method outperforms finetuning and meta-learning baselines, and can generalize reasonably on unseen tasks, condition types, or instructions. Our code can be found in https://github.com/AaronJi/MeGan.
- Abstract（参考訳）: 従来のLSMは、コーパスの不均一性と微妙な条件変化に悩まされることがある。
微調整はカタストロフィを忘れる問題を引き起こす可能性があるが、LLMへのメタラーニングの適用は、その複雑さとスケーラビリティのために制限されている。
本稿では,SwiGLUブロック内の$β$のメタシグナルを活性化し,FFNの非線形性を適応的に調整するメタゲーティング機構を実現する。
ハイパーネットワークはテキスト条件で$β$を動的に生成し、LLMのメタ制御性を提供する。
タスク,ドメイン,ペルソナ,スタイルなどの異なる条件タイプでテストすることで,我々の手法は微調整やメタラーニングのベースラインを上回り,目に見えないタスク,条件タイプ,命令に基づいて合理的に一般化することができる。
私たちのコードはhttps://github.com/AaronJi/MeGan.comにある。
関連論文リスト
- OLLM: Options-based Large Language Models [1.4783646973333087]
LLM(Options LLM)は,標準LLMの1つの次点予測を置き換える,単純で汎用的な手法である。
小さな潜在空間は、下流ポリシーで選択または探索できる複数の可算次の選択肢をパラメータ化する。
この結果から,選択された次世代モデリングは,数学推論における制御性,堅牢性,効率性を向上することが示された。
論文 参考訳（メタデータ） (2026-04-21T04:59:37Z) - RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning [31.8598046524742]
RIMRULEは、動的規則注入に基づく大規模言語モデル(LLM)適応のためのニューロシンボリックアプローチである。
コンパクトで解釈可能なルールは、障害トレースから蒸留され、推論中にプロンプトに注入され、タスク性能が向上する。
論文 参考訳（メタデータ） (2025-12-31T19:40:10Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:44:54Z) - From LLMs to Actions: Latent Codes as Bridges in Hierarchical Robot Control [58.72492647570062]
我々は,制限を克服する代替アーキテクチャとして,Learningable Latent Codes as Bridges (LCB)を導入した。
methodoutperforms baselines that leverage pure language as the interface layer on tasks that requires reasoning and multi-step behaviors。
論文 参考訳（メタデータ） (2024-05-08T04:14:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。