論文の概要: First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers
- arxiv url: http://arxiv.org/abs/2607.16821v1
- Date: Sat, 18 Jul 2026 13:43:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.265984
- Title: First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers
- Title（参考訳）: 1次予測可能だがペアワイズ・フレージャ:訓練された変圧器の局所タスク適応
- Abstract要約: マルチタスクのLORA操作点付近で同じハーネスで8つの特性を測定する。
テストスケール10-2$までの1方向の検証ウィンドウが共有されているが、ペアの合成や更新順序に対する普遍半径は存在しない。
- 参考スコア（独自算出の注目度）: 0.05729426778193398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task arithmetic, sequential fine-tuning, activation steering, and first-order random search all operate through relatively small perturbations around an already trained checkpoint, and they rely on different local approximations: individual perturbations should be first-order predictable, task updates should compose with controlled interference, useful tangent structure should be stable and possible to estimate, and weight edits should have counterparts in representation space. We measure 8 such properties with the same harness around a multitask LoRA operating point, on 9 transformers (82M-7B), with a prospectively registered property list, thresholds, and test split. We find a shared one-direction validity window up to the tested scale $10^{-2}$, but no universal radius for pairwise composition or update ordering. Along individual directions, changes of the probe loss remain first-order predictable throughout the grid: a perturbation's effect on the loss is essentially its projection onto the gradient, which is also what makes local random search work. Pairwise structure, however, proves to be far more fragile: on over a third of the measured (model, task pair) combinations, two-update order sensitivity sets in strictly inside that window; task-gradient subspaces rotate within tens of steps; additivity under our fixed activation probe fails at full task-vector scale on several models, including both held-out 7B models; and no model median passes the registered global mean-vector weight-to-steering correspondence bar. For two sequential task-gradient steps, the leading order-dependent term is the Lie bracket $H_B\textbf{g}_A-H_A\textbf{g}_B$; its normalized prediction $c(η)=ηκ+O(η^2)$ tracks the measured defect at median ratio 1.002, while the onset scale $η^\dagger\approx0.10/κ$ spans three orders of magnitude across models and task pairs.
- Abstract（参考訳）: タスク算術、逐次微調整、アクティベーションステアリング、一階ランダムサーチは全て、すでに訓練されたチェックポイントの周りの比較的小さな摂動を通して動作し、異なる局所近似に依存している。
9個のトランス (82M-7B) 上のマルチタスク LoRA 操作点の周辺で同じハーネスで8つの特性を計測し, 確率的に登録された特性リスト, しきい値, テストスプリットを示す。
テストスケール10^{-2}$までの1方向の検証ウィンドウが共有されているが、ペア合成や更新順序の普遍半径は存在しない。
個々の方向に沿って、プローブ損失の変化はグリッド全体にわたって予測可能であり、この損失に対する摂動の影響は基本的に勾配への投射である。
しかしながら、ペアワイズ構造は、測定された(モデル、タスクペア)組み合わせの3分の1以上において、そのウィンドウ内で厳密な2つの更新順序の感度セット、タスク勾配のサブスペースが数十ステップ以内に回転すること、固定活性化プローブの付加性は、保持された7Bモデルを含む複数のモデルにおいて完全なタスクベクトルスケールで失敗すること、そして、登録されたグローバル平均ベクトルの重み-操舵対応バーを中央値で通過すること、など、はるかに脆弱であることが証明されている。
2つのシーケンシャルなタスク漸進的なステップに対して、主要な順序依存項は、Lie bracket $H_B\textbf{g}_A-H_A\textbf{g}_B$; その正規化予測$c(η)=ηκ+O(η^2)$ であり、オンセットスケール $η^\dagger\approx0.10/κ$ はモデルとタスクペアの3桁にまたがる。
関連論文リスト
- Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。
我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。
Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
論文 参考訳（メタデータ） (2026-09-01T05:52:38Z) - Steer the Sampling, Not the Kernel Grid: Geometry-Guided Sampling Operator for Volumetric Segmentation [9.411407984734854]
畳み込みカーネルを変形させるのではなく,特徴をどこにサンプリングするかを制御できる幾何誘導型局所演算子を提案する。
各ボクセルでは、これらの方向に沿って対称にサンプルする、局所的な向きと有界なステップサイズを予測する。
ストライド1とストライド2を3D U-Netで置き換えると、BraTS、MSD肝血管、TDSC-ABUSが一貫した改善がなされる。
論文 参考訳（メタデータ） (2026-08-26T14:01:36Z) - When Do Task Vectors Interfere? Mapping the Validity Boundaries of Weight-Space Composition [3.2114065314849323]
タスク算術は、微調整変位を重み空間における構成可能な方向として扱う。
パラメータ幾何を関数幾何学から切り離し、2次元のタスクベクトル面上の対関数的非付加性を測定する。
論文 参考訳（メタデータ） (2026-08-10T11:58:04Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - The Geometric Canary: Predicting Steerability and Detecting Drift via Representational Stability [0.0]
表現の対距離構造の整合性である幾何学的安定性は、2つの関数に対処することを示す。
教師なしの安定性は、現実のタスクを操るために完全に失敗します。
ドリフト検出に優れ、トレーニング後のアライメントでCKAよりも2倍近い幾何変化を計測する。
論文 参考訳（メタデータ） (2026-04-20T01:24:45Z) - Anatomy of Capability Emergence: Scale-Invariant Representation Collapse and Top-Down Reorganization in Neural Networks [1.5567685129899713]
5つのモデルスケールで5つの幾何測度をトラックする。
トレーニングは、タスク固有のフロアへの普遍的な表現の崩壊から始まります。
ピキアでは、グローバルな幾何学的パターンが再現されるが、タスクごとの前兆信号は再現しない。
論文 参考訳（メタデータ） (2026-02-17T20:39:02Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - AffineGlue: Joint Matching and Robust Estimation [74.04609046690913]
AffineGlue, 連立2視点特徴マッチングとロバストな推定法を提案する。
AffineGlueは、最小限のモデルを推定するために、1対多の対応から潜在的なマッチを選択する。
ガイドマッチングはモデルと一致した一致を見つけるために使用され、1対1の一致の曖昧さに悩まされる。
論文 参考訳（メタデータ） (2023-07-28T08:05:36Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - Hausdorff Distance Matching with Adaptive Query Denoising for Rotated Detection Transformer [4.137346786534721]
両部マッチングのためのハウスドルフ距離に基づくコストを導入し、予測と基底の真理との相違をより正確に定量化する。
本稿では,2部マッチングを用いた適応型問合せ記述手法を提案し,モデル改良から抽出した雑音付き問合せを選択的に除去する。
論文 参考訳（メタデータ） (2023-05-12T16:42:54Z) - Analyzing and Mitigating Interference in Neural Architecture Search [96.60805562853153]
本研究では、異なる子モデルをサンプリングし、共有演算子の勾配類似度を計算することで干渉問題を解明する。
これら2つの観測から着想を得て、干渉を緩和するための2つのアプローチを提案する。
検索したアーキテクチャは、RoBERTa$_rmbase$が1.1、0.6、ELECTRA$_rmbase$が1.6、テストセットであるGLUEベンチマークで1.1より優れています。
論文 参考訳（メタデータ） (2021-08-29T11:07:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。