論文の概要: Toward Latent Language Model Skills Steering and Optimization: An Empirical Study

• arxiv url: http://arxiv.org/abs/2608.29459v1
• Date: Sat, 29 Aug 2026 22:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.973681
• Title: Toward Latent Language Model Skills Steering and Optimization: An Empirical Study
• Title（参考訳）: 潜在言語モデルスキルのステアリングと最適化に向けて:実証的研究
• Abstract要約: Skillsは、大規模言語モデル(LLM)の手続き的能力の有用な抽象化として、構造化されたマルチステップ推論とプログラムの実行方法を取得する。 既存のアプローチは、通常、プロンプトやプログラムによって指定された表面的な構造として、スキルを扱います。 プロシージャLLMスキルがアクティベーション空間の方向として表現できるかどうか,およびこれらの方向上のベクトル空間操作がスキルレベルの動作を表現することができるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 36.36264288049261
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Skills, as a useful abstraction for the procedural capabilities of large language models (LLMs), capture how models perform structured, multi-step reasoning and program execution. Existing approaches typically treat skills as explicit, surface-level constructs specified through prompts or programs, leaving open the question of how such procedural capabilities are represented inside the model and whether they can be manipulated as structured objects in latent space. In this empirical study, we investigate whether procedural LLM skills can be represented as directions in activation space and whether vector-space operations over these directions can express skill-level behaviors. We find that procedural skills admit a vector-space representation: individual skill directions can be activated to shift model behavior; independently extracted directions can compose to form higher-level skills. Contrastive directions yield context-conditioned algorithmic personalization and optimization trajectories over skill directions evolve non-monotonically, with intermediate states often surpassing fully optimized solutions. These results support a representation-level view of procedural LLM skills: they admit a latent vector-space organization that allows direct manipulation through internal interventions.
• Abstract（参考訳）: Skillsは、大規模言語モデル(LLM)の手続き的能力の有用な抽象化として、構造化されたマルチステップ推論とプログラムの実行方法を取得する。 既存のアプローチでは、通常、プロンプトやプログラムを通じて指定された表面的な構造としてスキルを扱い、そのような手続き的能力がモデル内でどのように表現され、潜在空間において構造化されたオブジェクトとして操作できるのかという疑問を解き放つ。 本研究では,プロシージャのLLMスキルが活性化空間の方向として表現できるかどうか,およびこれらの方向上のベクトル空間操作がスキルレベルの振る舞いを表現することができるかどうかを実験的に検討する。 個々のスキルの方向をアクティベートしてモデルの振る舞いを変えることができ、独立して抽出された方向を合成してより高いレベルのスキルを形成することができる。 対照的な方向は、文脈条件付きアルゴリズムのパーソナライゼーションと、スキルの方向性に対する最適化軌道を非単調に発展させ、中間状態は、完全に最適化された解を超えることが多い。 これらの結果は、手続き的LLMスキルの表現レベルビューをサポートし、内部介入による直接操作を可能にする潜在ベクトル空間の組織を認めた。

関連論文リスト

• Pragmos: A Process Agentic Modeling System [0.0]
  大規模言語モデル(LLM)は、テキスト記述から直接プロセスモデルを引き出すツールとして研究されている。 我々は、モデリングをオープンな会話活動として想定し、人間とLLMの両方を含むインタラクティブで反復的なプロセスによって最も支持される。 本稿では,このビジョンを運用するプロトタイプシステムであるPragmosを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T01:49:19Z)
• LLMs Reading the Rhythms of Daily Life: Aligned Understanding for Behavior Prediction and Generation [53.62804271492357]
  大きな言語モデル(LLM)は、その意味的豊かさ、強い解釈可能性、生成能力により、有望な方向性を提供する。 本稿では,LLMを構造化カリキュラム学習プロセスを通じて人間行動モデリングに統合する,行動理解アライメント(BUA)を提案する。 BUAは、事前訓練された行動モデルからのシーケンス埋め込みをアライメントアンカーとして採用し、3段階のカリキュラムを通じてLLMをガイドし、マルチラウンドの対話設定では予測と生成機能を導入している。
  論文  参考訳（メタデータ） (2026-04-26T07:34:37Z)
• Patches of Nonlinearity: Instruction Vectors in Large Language Models [47.132696509843164]
  本研究では,ポストトレーニングの異なる段階において,命令固有の表現がどのように構築され,活用されるかを検討する。 命令表現はモデルにかなり局所化されている。 非線形因果相互作用を解消するために,言語モデルに情報処理をローカライズする手法を提案する。
  論文  参考訳（メタデータ） (2026-02-08T11:56:39Z)
• Large Language Models and Algorithm Execution: Application to an Arithmetic Function [0.0]
  LLM-DAL (Large Language Model - Decompositional Algorithmic Learning) と呼ばれる学習モデルを導入する。 LLMの複雑なアルゴリズム推論と一般化の能力は、トレーニング方法が適切に設計されている場合、大幅に改善できることを実証する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:59Z)
• ExpertSteer: Intervening in LLMs through Expert Knowledge [86.98098988779809]
  アクティベーションステアリングは、大規模言語モデルの生成プロセスを制御するための有望な方法を提供する。 本稿では、任意の専門的モデルを用いてステアリングベクトルを生成する新しいアプローチであるExpertSteerを提案する。 3つのLSMを4つの異なる領域にわたる15の人気のあるベンチマークで包括的な実験を行う。
  論文  参考訳（メタデータ） (2025-05-18T08:55:46Z)
• A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models [50.34089812436633]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、その内部メカニズムはほとんど不透明である。 機械的解釈性は、LLMの内部動作を理解する手段として、研究コミュニティから大きな注目を集めている。 スパースオートエンコーダ(SAE)は、LLM内の複雑な重畳された機能をより解釈可能なコンポーネントに分解する能力のために、将来性のある方法として登場した。
  論文  参考訳（メタデータ） (2025-03-07T17:38:00Z)
• Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
  簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。 本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
  論文  参考訳（メタデータ） (2024-02-19T14:02:31Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• Procedures as Programs: Hierarchical Control of Situated Agents through Natural Language [81.73820295186727]
  エージェント命令と制御のための階層的な手続き的知識を表現する強力な手法である,プログラムとしての手続きの形式化を提案する。 NL命令に対するIQAおよびALFREDデータセット上で、このフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2021-09-16T20:36:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。