論文の概要: When Do Task Vectors Interfere? Mapping the Validity Boundaries of Weight-Space Composition

• arxiv url: http://arxiv.org/abs/2608.09490v1
• Date: Mon, 10 Aug 2026 11:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.245967
• Title: When Do Task Vectors Interfere? Mapping the Validity Boundaries of Weight-Space Composition
• Title（参考訳）: タスクベクトルはいつ干渉するのか? -重み空間構成の妥当性境界のマッピング-
• Abstract要約: タスク算術は、微調整変位を重み空間における構成可能な方向として扱う。 パラメータ幾何を関数幾何学から切り離し、2次元のタスクベクトル面上の対関数的非付加性を測定する。
• 参考スコア（独自算出の注目度）: 3.2114065314849323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task arithmetic treats fine-tuning displacements as composable directions in weight space, yet it remains unclear when parameter addition reflects predictable changes in model function. We separate parameter geometry from functional geometry and measure pairwise functional non-additivity over a two-dimensional task-vector surface, using a first-token predictive-distribution interaction ratio conditioned on an input distribution and evaluated with norm-matched controls, three training seeds, and response-only fine-tuning. On Qwen2.5-1.5B, code+safety is more non-additive than the matched code+math control on code and instruction prompts, but not on math prompts. In a prospectively specified six-task expansion, all eight high-versus-low comparisons of unseen task pairs have the predicted sign. The primary ordering further persists under full-parameter fine-tuning at 0.5B, Qwen2.5 LoRA scale tests up to 7B, and a Llama-3.1-8B cross-architecture audit. External validation exposes a sharper boundary: raw public code, instruction, and safety prompts preserve the continuous contrast, whereas an instruction-style wrapper collapses it on the identical public-code prompts, and EvalPlus pass@1 interactions do not robustly reproduce it. Weight-space composition therefore supports coarse, input- and format-conditioned functional statements across adaptation methods, scales, and one additional model family, not a universal merging-performance predictor.
• Abstract（参考訳）: タスク算術は、微調整変位を重み空間における構成可能な方向として扱うが、パラメータ加算がモデル関数の予測可能な変化を反映するかどうかは不明である。 パラメータ幾何と関数幾何学を分離し、2次元のタスクベクトル面上の対関数的非付加性を測定し、入力分布に条件付された第1トーケン予測-分布相互作用比を用いて、ノルム整合制御、3つのトレーニングシード、応答のみの微調整で評価する。 Qwen2.5-1.5Bでは、コード+セーフティは符号と命令プロンプトの一致したコード+マス制御よりも非付加的であるが、算術プロンプトには適用されない。 予測可能な6タスク拡張では、目に見えないタスクペアの8つの高めめの低い比較はすべて、予測された符号を持つ。 一次発注は0.5Bでのフルパラメータ微調整、Qwen2.5 LoRAスケールの7Bまでの試験、Llama-3.1-8Bクロスアーキテクチャ監査でさらに継続される。 生の公開コード、命令、安全プロンプトは連続的なコントラストを保存するが、命令スタイルのラッパーは同一の公開コードプロンプトでそれを崩壊させ、EvalPlus pass@1インタラクションは堅牢に再現しない。 したがって、重み空間の合成は、適応法、スケール、および1つのモデルファミリをまたいだ粗い、入力、およびフォーマット条件の関数文をサポートし、普遍的なマージ性能予測器ではない。

関連論文リスト

• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers [0.05729426778193398]
  マルチタスクのLORA操作点付近で同じハーネスで8つの特性を測定する。 テストスケール10-2$までの1方向の検証ウィンドウが共有されているが、ペアの合成や更新順序に対する普遍半径は存在しない。
  論文  参考訳（メタデータ） (2026-07-18T13:43:44Z)
• Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models [49.259951930558]
  コーディングエージェントは、継続的な推論に外部ツールリターンを統合する必要がある。 我々は,中等教育における機能意識の充足を通じてこれを活用する。
  論文  参考訳（メタデータ） (2026-07-14T07:44:26Z)
• Amplitude-Only FFN Intervention for Tool-Structured LLM Inference Method: Gated Evaluation Protocol, and Cross-Model Empirical Results [10.526208975530054]
  モデル重みをトレーニングせずに構造出力を改善するために,推定時フィードフォワードネットワーク(FFN)の介入について検討した。 増幅ゲーティング(Amplitude Gating, AG)は、未訓練のFFNの重量方向を保存し、生成時にのみ活性化の程度を調節する非破壊的な代替手段である。 これらの結果から,安全なFFNレベルの推論最適化のための最も信頼性の高い第1ターゲットとして,ツール構造推論が同定された。
  論文  参考訳（メタデータ） (2026-07-13T07:28:55Z)
• Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction [17.527470001317685]
  本研究では,コンパクトな小言語モデル (SLM) を制御推論のために再訓練し,検証器誘導補正ループに組み込むことができるかを検討する。 ランダム化熱制御シミュレーション(それぞれ500段の30の実験)では、平均的なアクションアライメント精度が91.5%に達する。 シンボリック・リマッピングの下では95%のインレンジレートを維持しており、トークンレベルの合意が減ったにもかかわらず、堅牢な物理的規制を示している。
  論文  参考訳（メタデータ） (2026-06-24T13:49:01Z)
• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Structural Rigidity and the 57-Token Predictive Window: A Physical Framework for Inference-Layer Governability in Large Language Models [0.0]
  現在のAIの安全性は、行動監視とトレーニング後のアライメントに依存している。 実験的な測定は、これらのアプローチは検出可能な事前コミット信号を生成しないことを示している。 本稿では,トランスフォーマー推論のダイナミクスを制約満足度モデルに結合するエネルギーベースのガバナンスフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-04T00:08:17Z)
• Words & Weights: Streamlining Multi-Turn Interactions via Co-Adaptation [55.938648534942665]
  マルチターンインタラクション(T2PAM)に対するテスト時ポリシー適応は,大規模言語モデル(LLM)と動的ユーザニーズとの整合に不可欠である。 本稿では,単語と重みの不均一な空間上での相互作用を協調最適化問題として再構成するフレームワークであるROSA2を提案する。
  論文  参考訳（メタデータ） (2026-03-02T02:16:20Z)
• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。