論文の概要: Learn-to-learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM

• arxiv url: http://arxiv.org/abs/2605.01973v1
• Date: Sun, 03 May 2026 17:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.027798
• Title: Learn-to-learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM
• Title（参考訳）: 任意テクスチャコンディショニングの学習--ハイパーネットワーク駆動型メタゲートLDM
• Abstract要約: 本稿では,SwiGLUブロック内で$$のメタシグナルを活性化し,FFNの非線形性を適応的に調整するメタゲーティング機構を実現する。 タスク,ドメイン,ペルソナ,スタイルなどの異なる条件タイプでテストすることで,本手法は微調整やメタラーニングのベースラインよりも優れる。
• 参考スコア（独自算出の注目度）: 5.325313097784103
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conventional LLMs may suffer from corpus heterogeneity and subtle condition changes. While finetuning can create the catastrophe forgetting issue, application of meta-learning on LLMs is also limited due to its complexity and scalability. In this paper, we activate the meta-signal of $β$ within the SwiGLU blocks, resulting in a meta-gating mechanism that adaptively adjusts the nonlinearity of FFN. A hypernetwork is employed which dynamically produces $β$ on textual conditions, providing meta-controllability on LLMs. By testing on different condition types such as task, domain, persona, and style, our method outperforms finetuning and meta-learning baselines, and can generalize reasonably on unseen tasks, condition types, or instructions. Our code can be found in https://github.com/AaronJi/MeGan.
• Abstract（参考訳）: 従来のLSMは、コーパスの不均一性と微妙な条件変化に悩まされることがある。 微調整はカタストロフィを忘れる問題を引き起こす可能性があるが、LLMへのメタラーニングの適用は、その複雑さとスケーラビリティのために制限されている。 本稿では,SwiGLUブロック内の$β$のメタシグナルを活性化し,FFNの非線形性を適応的に調整するメタゲーティング機構を実現する。 ハイパーネットワークはテキスト条件で$β$を動的に生成し、LLMのメタ制御性を提供する。 タスク,ドメイン,ペルソナ,スタイルなどの異なる条件タイプでテストすることで,我々の手法は微調整やメタラーニングのベースラインを上回り,目に見えないタスク,条件タイプ,命令に基づいて合理的に一般化することができる。 私たちのコードはhttps://github.com/AaronJi/MeGan.comにある。

関連論文リスト

• Should LLM Agents Decide in Social Simulations? Comparing Finite-State and LLM-Based Decision Policies [44.05636851266385]
  本稿では,大規模言語モデルがオンラインソーシャルネットワークシミュレーションにおいて解釈可能な参照ポリシーを維持しているかどうかを評価する。 LLaMA 3.1、GPT-OSS、Mistral 24Bの3つのオープンウェイトLCMが試験されている。 その結果、LCMは参照ポリシーをいくつかの構成で近似できるが、確実に保存できないことがわかった。
  論文  参考訳（メタデータ） (2026-06-10T17:35:32Z)
• OLLM: Options-based Large Language Models [1.4783646973333087]
  LLM(Options LLM)は,標準LLMの1つの次点予測を置き換える,単純で汎用的な手法である。 小さな潜在空間は、下流ポリシーで選択または探索できる複数の可算次の選択肢をパラメータ化する。 この結果から,選択された次世代モデリングは,数学推論における制御性,堅牢性,効率性を向上することが示された。
  論文  参考訳（メタデータ） (2026-04-21T04:59:37Z)
• Introspection Adapters: Training LLMs to Report Their Learned Behaviors [8.097590361201535]
  本研究では,共有ベースLLMから派生した多くのLLMの学習挙動を高速に同定するスケーラブルな手法について検討する。 1つのLoRAアダプタがファインタイン$M_i$で共同でトレーニングされ、組み込まれた振る舞いを言語化する。 このIAは、M_i$と全く異なる方法で訓練された$M$でさえ、学習行動の自己記述を誘導する。
  論文  参考訳（メタデータ） (2026-04-18T03:50:00Z)
• RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning [31.8598046524742]
  RIMRULEは、動的規則注入に基づく大規模言語モデル(LLM)適応のためのニューロシンボリックアプローチである。 コンパクトで解釈可能なルールは、障害トレースから蒸留され、推論中にプロンプトに注入され、タスク性能が向上する。
  論文  参考訳（メタデータ） (2025-12-31T19:40:10Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Open-domain Implicit Format Control for Large Language Model Generation [52.83173553689678]
  大規模言語モデル(LLM)における制御生成のための新しいフレームワークを提案する。 本研究では、LLMがオープンドメイン、ワンショット制約に従う能力と、サンプル回答の形式を再現する能力について検討する。 また、出力品質を劣化させることなく、LLMのオープンドメインフォーマット制御を強化する教師付き微調整のためのデータセット収集手法を開発した。
  論文  参考訳（メタデータ） (2024-08-08T11:51:45Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• From LLMs to Actions: Latent Codes as Bridges in Hierarchical Robot Control [58.72492647570062]
  我々は,制限を克服する代替アーキテクチャとして,Learningable Latent Codes as Bridges (LCB)を導入した。 methodoutperforms baselines that leverage pure language as the interface layer on tasks that requires reasoning and multi-step behaviors。
  論文  参考訳（メタデータ） (2024-05-08T04:14:06Z)
• BOML: A Modularized Bilevel Optimization Library in Python for Meta Learning [52.90643948602659]
  BOMLはモジュール化された最適化ライブラリで、いくつかのメタ学習アルゴリズムを共通の双方向最適化フレームワークに統合する。 さまざまなイテレーションモジュールとともに階層的な最適化パイプラインを提供し、メタ学習メソッドの主流カテゴリを解決するために使用できる。
  論文  参考訳（メタデータ） (2020-09-28T14:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。