論文の概要: Task Vectors Can Be Linearly Decomposed into Interpretable and Controllable Components

• arxiv url: http://arxiv.org/abs/2610.41743v1
• Date: Fri, 30 Oct 2026 13:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.760392
• Title: Task Vectors Can Be Linearly Decomposed into Interpretable and Controllable Components
• Title（参考訳）: タスクベクトルはリニアに解釈可能コンポーネントと制御可能コンポーネントに分解できる
• Abstract要約: タスクベクトル(TV)は、大きな言語モデルを操るためのコンパクトな方法を提供する。 テレビは通常、隠れた状態から単に抽出された原子化方向として扱われる。 一つのテレビが機能的に意味のあるコンポーネントに分解できるかどうかを問う。
• 参考スコア（独自算出の注目度）: 1.6185544531149159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task Vectors (TVs) provide a compact way to steer large language models, but they are typically treated as atomized directions merely extracted from hidden states, leaving their internal functional structure poorly understood. Motivated by prior work that decomposes in-context learning into Task Recognition (TR) and Task Learning (TL), we ask whether a single TV can likewise be decomposed into functionally meaningful components. We formulate a TR/TL-based decomposition from candidate-label unembeddings, separating each TV into TR, TL, and residual components, and try to optimize the TR and TL coefficients using Bayesian optimization for more effective intervention. We evaluate this formulation across multiple model families, classification tasks, and both instruction- and demonstration-based TVs. Across these settings, TR/TL-based optimization identifies intervention directions that outperform the original TVs. Although optimization over random directions can also improve performance, TR/TL-based search yields more reliable gains, particularly for instruction-based TVs. Moreover, isolated interventions on the decomposed components produce distinct logit-level effects that are consistent with their intended functional roles. Together, these results suggest that TVs are not monolithic steering directions, but can be decomposed into functionally meaningful components that support both interpretation and control.
• Abstract（参考訳）: タスクベクトル(TV)は、大きな言語モデルを操縦するコンパクトな方法を提供するが、一般的には隠れた状態から単に抽出された原子化方向として扱われ、内部機能構造は理解されていない。 In-context Learningをタスク認識(TR)とタスク学習(TL)に分解する以前の作業により、単一テレビを機能的に意味のあるコンポーネントに分解できるかどうかを問う。 提案手法では, TR, TL, 残留成分を分離し, TR, TL係数を最適化する。 この定式化は、複数のモデルファミリー、分類タスク、およびインストラクションおよびデモベースTVで評価する。 これらの設定全体で、TR/TLベースの最適化は、元のテレビよりも優れた干渉方向を特定する。 ランダムな方向に対する最適化は性能も向上するが、TR/TLベースの検索は、特に命令ベースのテレビにおいて、より信頼性の高いゲインを得る。 さらに、分解された成分に対する孤立的な介入は、意図された機能的役割と整合したロジットレベルの影響を生じさせる。 これらの結果は、テレビはモノリシックな操舵方向ではなく、解釈と制御の両方をサポートする機能的に意味のある構成要素に分解可能であることを示唆している。

関連論文リスト

• TTOM: Test-Time Optimization and Memorization for Compositional Video Generation [102.55214293086863]
  ビデオファウンデーションモデル (VFM) は目覚ましい視覚生成性能を示すが、構成シナリオでは苦戦している。 テスト時間とメモ空間化器(TTOM)を導入し,VFMとビデオレイアウトを一致させてテキスト画像のアライメントを改善する。 我々はTTOMが構成的世界知識を歪め、強力な伝達可能性と一般化を示すことを発見した。
  論文  参考訳（メタデータ） (2025-10-09T08:37:00Z)
• Task Vectors, Learned Not Extracted: Performance Gains and Mechanistic Insight [29.219501282135756]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)として知られる、インコンテキストのデモンストレーションから新しいタスクを実行することができる。 近年の研究では、これらの実演は、LLMが予測に利用するコンパクトなタスク表現であるタスクベクトル(TV)に圧縮されることが示唆されている。 本稿では,抽出したテレビを精度良く越え,優れたフレキシビリティを実現するLearted Task Vectors(LTV)を直接訓練することを提案する。
  論文  参考訳（メタデータ） (2025-09-29T01:33:20Z)
• Localizing Task Recognition and Task Learning in In-Context Learning via Attention Head Analysis [7.677300807530906]
  TRヘッドはタスクサブスペースに隠れた状態をアライメントすることでタスク認識を促進する一方、TLヘッドはサブスペース内の隠れた状態を正しいラベルに向けて回転させ、予測を容易にする。 したがって、我々のフレームワークは、様々なタスクや設定で大規模な言語モデルがどのようにILCを実行するかについて、統一的で解釈可能な説明を提供する。
  論文  参考訳（メタデータ） (2025-09-29T01:28:37Z)
• Table-r1: Self-supervised and Reinforcement Learning for Program-based Table Reasoning in Small Language Models [52.94091440130039]
  表推論(TR)は、半構造化データに対する構造化推論を必要とする。 小型言語モデル(SLM)は、大きなLM(LLM、例えばGPT-4o)と比較して限られた能力を持つ。 実行可能プログラムを生成することで、テキストベースTR(T-TR)の鍵となる制限を回避するプログラムベースTR(P-TR)を提案する。 4つのTRベンチマークの実験により、Table-r1は全てのSLMベースの手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-06T14:52:19Z)
• Fractional Correspondence Framework in Detection Transformer [13.388933240897492]
  Detection Transformer (DETR) はオブジェクト検出タスクのマッチングプロセスを大幅に単純化した。 このアルゴリズムは、予測された有界箱とトレーニング中の接地的アノテーションとの最適な1対1マッチングを容易にする。 本稿では,予測と地上の真実を整合させるコストを捉え,最も正確な対応を見つけるためのフレキシブルマッチング戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-06T05:29:20Z)
• LoFiT: Localized Fine-tuning on LLM Representations [60.99814930367597]
  LoFiT(Localized Fine-Tuning on LLM Representations)というフレームワークを導入する。 LoFiTは、特定のタスクを学習する上で最も重要なアテンションヘッドのサブセットを特定し、それからオフセットベクトルをトレーニングして、選択したヘッドでモデルの隠れ表現に追加する。 真理性や推論タスクにおいて,LoFiTの介入ベクトルは推論時間干渉などの表現介入手法のベクトルよりもLLM適応に有効であることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T17:45:41Z)
• RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter [77.0205013713008]
  Text-Video Retrieval (TVR)は、関連するビデオコンテンツと自然言語クエリを連携させることを目的としている。 現在までに、ほとんどの最先端のTVR手法は、大規模な事前学習された視覚モデルに基づいて、画像からビデオへの変換学習を学習している。 パラメータ化層数で事前学習モデルの微調整を行うためのスパース・アンド・コラージュAdaPter (RAP) を提案する。
  論文  参考訳（メタデータ） (2024-05-29T19:23:53Z)
• LM Transparency Tool: Interactive Tool for Analyzing Transformer Language Models [10.452149013566157]
  LM Transparency Tool (LM-TT) は、トランスフォーマーベースの言語モデルの内部動作を分析するためのオープンソースのインタラクティブツールキットである。 インプット・トゥ・アウトプット・インフォメーション・フロー全体の重要な部分を示す。
  論文  参考訳（メタデータ） (2024-04-10T13:39:11Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)
• Disentangled Representation Learning for Text-Video Retrieval [51.861423831566626]
  テキスト・ビデオ検索(TVR)における相互モダリティの相互作用 我々は相互作用のパラダイムを深く研究し、その計算を2つの項に分けることができることを示した。 本稿では,逐次的かつ階層的な表現を捉えるための非絡み合いフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-14T13:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。