論文の概要: PAIQ: Patch-Aligned Semantic Injection via Residual Rotation

• arxiv url: http://arxiv.org/abs/2609.37685v1
• Date: Tue, 29 Sep 2026 14:32:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.63078
• Title: PAIQ: Patch-Aligned Semantic Injection via Residual Rotation
• Title（参考訳）: PAIQ:残留回転によるパッチアライメントセマンティックインジェクション
• Abstract要約: パッチ整合型セマンティックインジェクションフレームワークPAIQを紹介する。 PAIQは、ジョイントソースアロケーションを通じて補完的なSigLIP機能を集約し、アグリゲートベースの違いを注入する。 多様な言語のバックボーン全体にわたって、PAIQは判断された正確性において広い利得を得る。
• 参考スコア（独自算出の注目度）: 10.977493951022863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-aligned and self-supervised visual encoders offer complementary strengths in semantic abstraction and spatial detail. Harnessing this complementarity requires enriching local features while retaining distinctions between semantically related patches. We introduce PAIQ, a patch-aligned semantic injection framework that combines content-based cross-encoder matching with orthogonally constrained residual updates. Using DINOv3 patch features as the spatial base, PAIQ aggregates complementary SigLIP features through joint source allocation and injects the aggregate--base differences through a shared orthogonal transformation Q. This rotation adapts update directions while preserving residual norms and pairwise angles. For fixed projected features, we derive conditions for patch separability under similar semantic aggregates and show that rotation adds a nonnegative separation term over direct interpolation when the aggregate is shared. Only the projection and fusion parameters are trained; both visual encoders and the language model remain frozen, and fusion retains 196 visual tokens. Across diverse language backbones, PAIQ yields broad gains in judge-assessed correctness and reductions in hallucination severity over single-encoder interfaces on image description and visual question answering. On the 2B and 9B Qwen backbones, this compact interface outperforms the strongest evaluated fusion or token-compression baselines by about 2.9 correctness points on average.
• Abstract（参考訳）: 言語に整合した自己監督型ビジュアルエンコーダは、セマンティック抽象化と空間的詳細において相補的な長所を提供する。 この相補性を損なうには、セマンティックなパッチ間の区別を維持しながら、局所的な特徴を豊かにする必要がある。 本稿では,コンテンツベースのクロスエンコーダマッチングと直交制約付き残差更新を組み合わせたパッチ整合型セマンティックインジェクションフレームワークPAIQを紹介する。 DINOv3パッチ特徴を空間ベースとして、PAIQは、共振源割り当てを通じて相補的なSigLIP特徴を集約し、共有直交変換Qを介して集約ベース差分を注入する。 固定された特徴に対して、類似のセマンティックアグリゲーションの下でパッチ分離性の条件を導出し、アグリゲーションを共有する際に直接補間よりも非負の分離項を追加することを示す。 プロジェクションと融合パラメータのみが訓練され、ビジュアルエンコーダと言語モデルの両方が凍結され、融合は196のビジュアルトークンを保持する。 多様な言語のバックボーン全体にわたって、PAIQは、画像記述と視覚的質問応答に関する単一エンコーダインタフェースよりも、判断された正しさと幻覚の重症度が大幅に低下する。 2Bと9B Qwenのバックボーンでは、このコンパクトインターフェースは平均で約2.9の正確性ポイントで最も評価された核融合またはトークン圧縮ベースラインを上回っている。

関連論文リスト

• From Alignment to Fusion in 3D Vision-Language [30.65499823418563]
  統一された3次元視覚言語システムは、相補的な幾何学、スケール、外観を組み合わせなければならない。 既存の方法は、独立してポイントクラウド、ボクセルグリッド、マルチビューイメージを処理していることが多い。 本稿では,三重対コサインアライメントを適用し,セグメントレベルの対応性を確立するアライメント・テーマ・フューズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-23T14:52:14Z)
• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
  PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。 パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。 実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2026-05-25T13:19:12Z)
• Rethinking Weight Tying: Pseudo-Inverse Tying for Stable LM Training and Updates [22.84428628659889]
  Pseudo-Inverse Tyingはトレーニングを通じて擬似逆整合インターフェースを保証する。 256M-1.3Bパラメータにまたがるデバイス上でのPITを評価する。
  論文  参考訳（メタデータ） (2026-02-04T13:44:53Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• Plug-in Feedback Self-adaptive Attention in CLIP for Training-free Open-Vocabulary Segmentation [48.488114831677166]
  CLIPは、強い視覚的テキストアライメントを示すが、ローカライゼーションが不十分なため、オープン語彙セグメンテーションに苦慮している。 本稿では,出力ベースのパッチレベルの対応を中間的注意に戻す,トレーニング不要でフィードバック駆動型の自己適応型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-27T20:47:03Z)
• Beyond BEV: Optimizing Point-Level Tokens for Collaborative Perception [17.654858416126093]
  協調的知覚により、エージェントは中間的特徴を交換することで知覚能力を高めることができる。 既存の手法は通常、これらの中間機能を2D Bird's-eye-view (BEV)表現として整理する。 ポイントレベル最適化トークンを利用した新しい協調認識フレームワークであるCoPLOTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T07:27:42Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision Transformer for Face Forgery Detection [52.91782218300844]
  そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。 自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
  論文  参考訳（メタデータ） (2022-10-23T15:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。