論文の概要: The Limits of Binding in Dual Encoders

• arxiv url: http://arxiv.org/abs/2608.15971v1
• Date: Sun, 16 Aug 2026 23:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.491375
• Title: The Limits of Binding in Dual Encoders
• Title（参考訳）: デュアルエンコーダにおけるバインディングの限界
• Abstract要約: この失敗がいつ必要か、いつ発生するかを数学的に説明します。 テキストのみの診断を18のデプロイされたテキストエンコーダで測定すると、すべてのモデルは天井の約25～35%に収まる。 したがって、デプロイされたデュアルエンコーダのバインディング障害は、今日では次元や滑らかさの制限ではなく、インセンティブとコード構造の制限である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dual-encoder models such as CLIP score an image-caption pair by a single inner product of two independently computed unit vectors, and fail at binding, often scoring near chance when asked to distinguish "a red car and a blue dog" from "a blue car and a red dog". We give a mathematical account of when this failure is necessary and when it is contingent. Working within the ideal-encoder framework proposed by Kang et al., we first show the relevant axioms are satisfiable, so every impossibility must enter through an added, checkable hypothesis. We then prove three such obstructions. Depth: for recursive role-binding codes the swap margin obeys an exact law $m(D) = 2b^{-D}$ in the nesting depth D, with a finite-dimension version holding up to one explicitly flagged concentration estimate; the resolvable depth grows only logarithmically in the dimension and is single-digit at CLIP scale, the nesting depth of ordinary language. Objective: architecture-free throttle theorems showing that the contrastive objective's entire reward for binding is bounded by the rate at which training contrasts a caption against its own swap, a rate that vanishes at web scale, and that exactly reversed binding costs only that rate times the mean binding margin; both are verified in simulation. Geometry: a tight smoothness-binding frontier: the closer the two swap-related captions must embed to a shared paraphrase anchor, the smaller the binding margin can be, with an exact constant. Measuring its text-only diagnostic across 18 deployed text encoders, every model sits at roughly 25-35% of its ceiling, and the induced per-item ceiling tracks SugarCrepe's subset difficulty at r = 0.99. Binding failure in deployed dual encoders is thus not a dimension or smoothness limit today, but an incentive and code-structure limit, with a proved depth ceiling that remains once those are fixed.
• Abstract（参考訳）: CLIPのようなデュアルエンコーダモデルは、2つの独立に計算された単位ベクトルの1つの内部積で画像キャプチャペアをスコアし、結合に失敗し、しばしば「赤い車と青い犬」と「青い車と赤い犬」を区別するよう要求されたときに、ほぼチャンスに近づいている。 この失敗がいつ必要か、いつ発生するかを数学的に説明します。 Kangらによって提案された理想エンコーダの枠組みの中で、まず関連する公理が満足できることを示す。 そして、そのような障害が3つあることを証明します。 深さ: 再帰的なロール結合符号の場合、スワップマージンは、ネスティング深さDにおいて$m(D) = 2b^{-D}$の厳密な法則に従う。 目的: アーキテクチャのないスロットル定理は、対照的な目的のバインディングに対する報酬全体が、トレーニングが自身のスワップとキャプションを対比するレート、Webスケールで消滅するレート、正確に逆のバインディングコストが平均バインディングマージンのレートの1倍に制限されていることを示し、どちらもシミュレーションで検証される。 Geometry: 厳密な滑らかさ結合フロンティア: 2つのスワップ関連キャプションが近いほど、共有パラフレーズアンカーに埋め込まれなければならない。 テキストのみの診断を18個のテキストエンコーダで測定し、すべてのモデルが天井の約25～35%を占め、誘導されたシーリングはSugarCrepeのr=0.99でのサブセットの難しさをトラックする。 したがって、デプロイされたデュアルエンコーダのバインディング障害は、今日では次元や滑らかさの限界ではなく、インセンティブとコード構造の限界であり、それらが固定された後も深い天井が残っていることが証明されている。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Split the Labor: Separating Evidence Interpretation from Decision Aggregation [0.0]
  言語モデルに多くの情報源から結論に達するよう要求するシステムは通常、それらを1つのプロンプトに分割する。 提案する4分野のエビデンス(仮説,信頼性バケット,合理性,証明)は,両半減期を決定することを示す。 この修正はアーキテクチャよりも算術的であり、言語モデル以外のルールのクラスに適用される。
  論文  参考訳（メタデータ） (2026-08-14T17:24:55Z)
• When Does Consensus Mean Correctness? Measuring the Agreement-Accuracy Coupling with Semantics-Preserving Re-Rendering [0.8594140167290097]
  ラベルのない信頼性信号として、摂動入力間のモデルの合意が使用される。 レンダリングは正確さと信頼性の両方で再サンプリングする。 モデル自身のクロスレンダーコンセンサスインバータを微調整する。
  論文  参考訳（メタデータ） (2026-08-06T07:08:05Z)
• Why Do Few-Step Text Latents Fail When Image Latents Work? Non-Commitment at Sharp Categorical Readouts [1.1760370831826417]
  滑らかで規則性に制限された決定論的写像は、シャープなカテゴリーの読み出しの前に離散的な分岐選択を解決できないことを示す。 実テキストオートエンコーダの重なり合う状態において、後平均終端ステップが決定境界の周囲に$O(s(t)$チューブで潜在質量の速度でトークンを反転させることを示す。
  論文  参考訳（メタデータ） (2026-06-29T14:20:57Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
  Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。 独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。 Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
  論文  参考訳（メタデータ） (2026-06-11T17:48:38Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems [0.0]
  この論文は、好奇心から不合理性の結果を設計規則に変える。 そのフラッグシップとなる結果は、アーキテクチャだけで設定された精度の高い天井を証明している。 同じ引数がサブフィールドにまたがって再キャストされる。
  論文  参考訳（メタデータ） (2026-05-21T20:48:35Z)
• Boundary Geometry Turns Entanglement into Steering [5.478582839093083]
  量子絡み合いは必ずしもアインシュタイン=ポドルスキー=ローゼンの操舵を意味するとは限らない。 絡み合った状態が信頼状態空間の境界を満たすとき、このギャップを閉じる境界機構を同定する。 フィルタされた標準形式、明示的な3階Coleskyパラメトリゼーション、コンパクトな境界証明を提供する。
  論文  参考訳（メタデータ） (2026-05-20T14:33:16Z)
• The Alignment Bottleneck [0.0]
  ループを2段階のカスケード$U to H to Y$ given$S$、認知能力$C_textcog|S$、平均総容量$barC_texttot|S$としてモデル化する。 これは、分離可能なコードブックと、KL項が$m, barC_texttot|S$で同じチャネルで制御されるPAC-Bayes上界とで証明されたデータサイズ非依存のファノ下界をペアする。
  論文  参考訳（メタデータ） (2025-09-19T12:38:30Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。