論文の概要: SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge

• arxiv url: http://arxiv.org/abs/2607.27497v1
• Date: Wed, 29 Jul 2026 22:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.329563
• Title: SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge
• Title（参考訳）: SkillSmith: パラメトリックスキルとテキスト知識を構成することを学ぶ
• Abstract要約: この作業は、テキストとモデルウェイトの間のモダリティギャップを橋渡しして、パフォーマンスの改善を目標とします。 我々は、プレフィックスチューニングによるパラメトリック学習をインスタンス化し、LLMを拡張してプレフィックス重みとリッチテキストデータの両方を取り込みます。 SkillSmithと呼ばれる拡張LDMは、これらの入力を合成し、命令ステアリングパラメトリック合成を実行する。
• 参考スコア（独自算出の注目度）: 14.059816473539092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic systems driven by large language models (LLMs) regularly feature two key mechanisms to autonomously solve complex problems: synthesizing text-based knowledge and procedures from past experiences and building parametric (weight-space) skill libraries for recurring sub-goals. To date, research has largely treated these as orthogonal pursuits: either organizing textual knowledge through composition and reflection, or consolidating parametric skills via weight-space merging. Consequently, the seamless integration of text and model weights for targeted performance improvements remains largely unexplored. This work bridges this modality gap by treating model weights as an additional modality that an LLM can natively reason over. We instantiate parametric learning via prefix-tuning and augment an LLM to ingest both prefix weights and rich textual data which capture relationships to a target capability. Our augmented LLM, which we call SkillSmith, synthesizes these inputs to perform instruction-steered parametric synthesis, directly outputting new prefix weights that manifest the target skill. We demonstrate that our approach significantly outperforms both text-only and weight-space-only baselines, unlocking performance gains that are out of reach for uni-modal (text-only or weight-only) adaptations.
• Abstract（参考訳）: 大規模言語モデル(LLM)によって駆動されるエージェントシステムは、テキストベースの知識と過去の経験から手順を合成し、サブゴールを繰り返すためのパラメトリック(ウェイトスペース)スキルライブラリを構築するという、複雑な問題を自律的に解決する2つの重要なメカニズムを定期的に備えている。 これまでの研究は、これらを直交的追求として、組成と反射によるテキスト知識の編成、あるいは重み空間の融合によるパラメトリックスキルの統合など、主に扱ってきた。 結果として、テキストとモデルウェイトをシームレスに統合して、パフォーマンスの改善を目標としています。 この研究は、モデルウェイトをLLMが自然に推論できる追加のモダリティとして扱うことで、このモダリティギャップを橋渡しする。 我々は、プレフィックスチューニングによるパラメトリック学習をインスタンス化し、LLMを拡張して、プレフィックス重みとターゲット能力との関係を捉えたリッチテキストデータの両方を取り込みます。 我々がSkillSmithと呼ぶ拡張LDMは、これらの入力を合成して命令ステアリングされたパラメトリック合成を行い、ターゲットスキルを示す新しいプレフィックスウェイトを直接出力する。 提案手法はテキストのみのベースラインとウェイトスペースのみのベースラインの両方を著しく上回り、ユニモーダル(テキストのみまたはウェイトのみ)適応の到達範囲外のパフォーマンス向上を解放する。

関連論文リスト

• KG-First, LLM-Fallback: A Hybrid Microservice for Grounded Skill Search and Explanation [26.702635306128865]
  ESCO、ROM、O*NETのような権威的な能力のフレームワークは、教育と労働市場のニーズの整合に不可欠であるが、その技術的な複雑さと構造的不均一性は、教育者による実践的な採用を妨げる。 本稿では、これらのリソースを実績保存知識グラフ(KG)に統合することで、このギャップを埋めるように設計されたマイクロサービスであるSkillGraph-Serviceを紹介する。 結果として得られるアーキテクチャは、複雑なスキルデータをデジタル学習エコシステムに統合するための実用的でスケーラブルで監査可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-05-02T19:07:56Z)
• Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models [33.022457807599075]
  CSKS(Continuously Steering Knowledge Sensitivity)は、大規模言語モデルの文脈的知識に対する感受性を、軽量で継続的に評価するフレームワークである。 本研究では,LLMの文脈的知識に対する感度を連続的かつ高精度に制御し,感度の向上と感度の低減を実現していることを示す。
  論文  参考訳（メタデータ） (2025-08-27T09:30:24Z)
• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning [80.27561080938747]
  CANOEは、人間のアノテーションを使わずに、下流のさまざまなタスクにまたがる大きな言語モデルの忠実性の幻覚を減らすためのフレームワークである。 Dual-GRPOはルールベースの強化学習手法であり、合成された短値QAデータから得られる3つのルールベースの報酬を含む。 実験の結果、CANOEは11のタスクにまたがるLLMの忠実さを大幅に改善し、最も進歩したLLMよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-22T10:10:07Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Efficient Tuning of Large Language Models for Knowledge-Grounded Dialogue Generation [21.52726424882653]
  KEDiTは、知識基底対話生成のための大規模言語モデルを微調整する効率的な方法である。 まず、検索した知識を学習可能なパラメータに圧縮するために情報ボトルネックを使用し、計算オーバーヘッドを最小限に抑えながら重要な情報を保持する。 ウィキペディアのウィザードと新しく構築されたPubMed-Dialogデータセットの実験結果は、KEDiTが文脈的に関連があり、情報的な応答を生成するのに優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-10T13:54:36Z)
• A Text-Based Knowledge-Embedded Soft Sensing Modeling Approach for General Industrial Process Tasks Based on Large Language Model [16.842988666530204]
  データ駆動型ソフトセンサー(DDSS)は、プロセス産業において重要なパフォーマンス指標を予測する主要な手法となっている。 開発には、モデリングプロセス中に様々なタスクに合わせてカスタマイズされた複雑でコストがかかる設計が必要である。 本稿では,LLM-TKESS(テキストベース知識埋め込み型ソフトセンシングのための大規模言語モデル)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-09T08:59:14Z)
• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Are You Being Tracked? Discover the Power of Zero-Shot Trajectory Tracing with LLMs! [3.844253028598048]
  LLMTrackは、ゼロショット軌道認識にLLMをどのように活用できるかを示すモデルである。 本研究では,屋内シナリオと屋外シナリオを特徴とする異なる軌跡を用いて,現実のデータセットを用いてモデルを評価した。
  論文  参考訳（メタデータ） (2024-03-10T12:50:35Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。