論文の概要: Beyond Endpoints: Bézier Paths for Vision Foundation Model Adaptation
- arxiv url: http://arxiv.org/abs/2611.17825v1
- Date: Fri, 13 Nov 2026 07:01:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.322559
- Title: Beyond Endpoints: Bézier Paths for Vision Foundation Model Adaptation
- Title(参考訳): エンドポイントを超えて - ビジョンファウンデーションモデル適応のためのベジエパス
- Abstract要約: ファンデーションモデルは、すべてのイメージ間で共有されるいくつかのプロンプトトークンを学ぶことで適応することができる。
最短経路に共通する余分な輸送コストを定量化する。
VTAB-1kを用いたVT-B/16では、機能作用を最小限に抑える二次ベジエプロンプトパスにより、ホールドアウト輸送作用が減少する。
- 参考スコア(独自算出の注目度): 21.535808542566425
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Frozen vision foundation models can be adapted by learning a few prompt tokens shared across all images. When prompts are updated as data shift or tasks change, the distribution of image features moves from one endpoint to another. Prior theory asks which endpoints prompts can reach; we ask whether they can travel between them along the shortest path. Because shared prompts compete with each image's own content for attention, they often cannot. We quantify this restriction as the extra transport cost that shared attention imposes over the shortest path. In an exactly solvable attention model, the reachable features form a cone; unrolling it into a plane gives the exact minimum action for every pair of endpoints and explicit optimal prompts on short arcs. The analysis reveals a sharp threshold in content normalization, which measures how much attention each image's own tokens absorb: for same-sign endpoints, at most two distinct levels allow prompts to follow the shortest path, whereas three or more force a strictly positive extra cost unless the endpoints differ only by rescaling. This gap persists with more prompts, small content perturbations, and aligned multihead outputs. On ViT-B/16 with VTAB-1k, a quadratic Bézier prompt path that minimizes feature action reduces held-out transport action relative to linear and cross-entropy-trained paths between the same endpoints and improves intermediate and online accuracy under unlabeled distribution shift, while cross-entropy-trained paths retain higher minimum accuracy when labeled calibration data are available. Reachable endpoints do not guarantee a reachable shortest path: how prompts move matters, not only where they end. Project page: https://xixiaouab.github.io/Beyond-Endpoints/.
- Abstract(参考訳): 凍結視覚基盤モデルは、すべての画像間で共有されるいくつかのプロンプトトークンを学ぶことで適応することができる。
データシフトやタスクの変更によってプロンプトが更新されると、画像特徴の分布は、あるエンドポイントから別のエンドポイントに移動する。
先行理論では、どのエンドポイントのプロンプトに到達できるかを問う。
共有プロンプトは、各画像のコンテンツに注意を向けて競合するため、しばしばそうはならない。
我々はこの制限を、最短経路に共通する輸送コストが課す余分な輸送コストとして定量化する。
正確に解ける注意モデルでは、到達可能な特徴は円錐を形成し、それを平面に解き放つと、短弧上のすべての一対の終点と明示的な最適プロンプトに対して、正確な最小の作用を与える。
この分析は、各画像のトークンがどの程度の注意を抱くかを測定するコンテンツ正規化の鋭いしきい値を明らかにしている: 同じ信号のエンドポイントでは、ほとんどの2つの異なるレベルにおいて、プロンプトは最短経路に従うことができるが、3つ以上の場合、エンドポイントが再スケーリングによってのみ異なる場合を除いて、厳密にポジティブな追加コストを課す。
このギャップは、より多くのプロンプト、小さなコンテンツ摂動、そしてアライメントされたマルチヘッド出力で持続する。
VTAB-1kを用いたViT-B/16では、機能作用を最小限に抑える二次ベジエプロンプトパスは、同一エンドポイント間の線形およびクロスエントロピー訓練パスに対するホールドアウト輸送動作を低減し、ラベル付き分布シフトの下で中間およびオンラインの精度を向上させる一方、クロスエントロピー訓練パスはラベル付きキャリブレーションデータが利用可能である場合に、より高い最小の精度を維持する。
到達可能な最短経路は、到達可能なエンドポイントが保証されない。
プロジェクトページ: https://xixiaouab.github.io/Beyond-Endpoints/
関連論文リスト
- Decoupled Mode Connectivity for Base-to-Novel Generalization in Vision-Language Models [27.82563623282324]
本稿では,それぞれの目的にそれぞれ独自のプロンプトを与えるDMC(Decoupled Mode Connectivity)を提案する。
DMCは特殊化プロンプトと一般化プロンプトを訓練し、テスト時にテキスト特徴と固定係数をマージする。
CoOpおよびKgCoOpのMerge-Tuneに対する平均高調波平均値と新しい精度を改良した。
論文 参考訳(メタデータ) (2026-11-06T16:04:41Z) - Analytic-Walk Rotary Positional Encodings for Graphs [49.85093436361195]
回転位置符号化は相対的な位置に対して注意を向けるが、グラフに拡張するには、グラフ構造がどのように回転に入るかを選択する必要がある。
従来の作業では、各ノードにスペクトル座標からの回転を割り当てていたため、2つのノード間の回転係数はエンドポイントに依存しており、それらを接続するルートを区別することができない。
我々はAW-RoPEを導入し、エッジに回転を配置し、すべてのウォークに移動した特徴を合計するので、異なるルートに沿ったコントリビューションが強化またはキャンセルできる。
論文 参考訳(メタデータ) (2026-09-26T03:00:22Z) - Time-Frequency Geometric Cross-Attention for Chunked Vision-Language-Action Models [10.591519354017803]
ビジョンアクション(VLA)政策における2つの盲点の修復方法を示す。
プリトレーニング済みのVLAを微調整するために、ドロップインモジュールを使用します。
TFGCA が LIBERO を平均で1.5、OOD LIBERO-Plus を+6.3、RoboTwin ドメインのランダム化で+28.5、AgiBot A2 のタスクで+11.67 のタスクで全体の成功率を示す。
論文 参考訳(メタデータ) (2026-09-09T09:16:49Z) - Subtoken Vision Transformer for Fine-grained Recognition [21.033814568458897]
SubViTは、きめ細かい視覚認識のための選択的な画像トークン化手法である。
これは、グローバルコンテキストのオリジナルのトークンシーケンスを保持しながら、複数のサブトークンを持つ識別パッチを表す。
DINOv2の平均新規カテゴリー精度を811.3%から84.7%に改善し、0.50$msの追加遅延と3.4%のFLOPが加わった。
論文 参考訳(メタデータ) (2026-07-10T04:07:23Z) - IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients [4.619541348328937]
私たちはデコーダのみのトランスフォーマーについて単純な質問をする:どちらの2つの層が実際に生成された予測トークンの確率なのか?
既存のレイヤ単位の読み出しツールは、ほとんど答えない。
IG-Lensは,ベースラインから最終層への隠れ状態を通る単一の経路に沿って,統合勾配のテレスコープアプリケーションである。
論文 参考訳(メタデータ) (2026-06-29T01:41:42Z) - FlexPath: Learned Semantic Path Priors for Image-Based Planning [2.739231894601598]
私たちはFlexPathという2段階のフレームワークを紹介します。
最短経路計画では、FlexPathは最先端のTransPathに比べてTMPの検索労力を14.3%削減している。
最小クリアランス距離2の障害物クリアランスでは、探索コストを低く保ちながら96.8%の完全な障害物回避を実現する。
論文 参考訳(メタデータ) (2026-06-08T20:53:11Z) - Dense Optical Tracking: Connecting the Dots [82.79642869586587]
DOTは、ビデオにおけるポイントトラッキングの問題を解決するための、新しくてシンプルで効率的な方法である。
OmniMotionのような高度な"ユニバーサルトラッカー"を上回り、CoTrackerのような最良のポイントトラッキングアルゴリズムと同等か、あるいはそれ以上の精度で、DOTが現在の光フロー技術よりもはるかに正確であることを示す。
論文 参考訳(メタデータ) (2023-12-01T18:59:59Z) - SOLD2: Self-supervised Occlusion-aware Line Description and Detection [95.8719432775724]
単一深層ネットワークにおける回線セグメントの最初の共同検出と記述について紹介します。
我々の手法は注釈付き行ラベルを必要としないため、任意のデータセットに一般化することができる。
複数のマルチビューデータセットにおいて,従来の行検出と記述方法に対するアプローチを評価した。
論文 参考訳(メタデータ) (2021-04-07T19:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。