論文の概要: Finite Interaction Lens: Structured Precision Sharing for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.25577v1
- Date: Sun, 18 Oct 2026 22:44:12 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:04:58.516386
- Title: Finite Interaction Lens: Structured Precision Sharing for Vision-Language Models
- Title(参考訳): 有限干渉レンズ:視覚言語モデルのための構造的精度共有
- Abstract要約: 有限干渉系列評価のための混合精度法である有限干渉レンズ(FIL)を提案する。
FILは各候補の入力をネイティブ状態と2つの単一干渉成分、フル次元混合残差に分解する。
FILは16の合成ファミリーでのMSEの最終相互作用を94.4%減らし、99.85%と99.35%減らした。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Identifying which visual interventions interact in a vision-language model requires comparing their joint and separate effects. The resulting four-output difference can be small enough for rounding error to obscure it. We introduce the Finite Interaction Lens (FIL), a mixed-precision method for evaluating finite intervention families. At each selected linear projection, FIL decomposes each candidate's input into a native state, two single-intervention components, and a full-dimensional mixed residual. It projects the single-intervention components at higher precision and reuses the same numerical contributions in the joint candidates, while retaining every mixed residual and nonlinear trajectory. We derive a local cancellation identity and a conditional bound on error propagation through a smooth nonlinearity. In one MLP of Qwen3-VL-4B-Instruct, FIL reduces final interaction MSE by 94.4% on 16 synthetic families and by 99.85% and 99.35% in two separate four-image COCO studies, relative to a control that has the same nominal BF16-product budget and higher-precision single interventions but projects each joint candidate independently. One image accounts for most of the absolute gain in each COCO study. Higher-accuracy multi-product BF16 arithmetic on all candidates gives lower aggregate error at similar total query times. Single-product BF16 already recovers the reference choices in both candidate-selection tasks we tested. On these development inputs, FIL improves interaction fidelity at a fixed nominal precision budget. Its practical value depends on a task that needs the extra fidelity.
- Abstract(参考訳): 視覚言語モデルでどの視覚的介入が相互作用するかを特定するには、関節と別個の効果を比較する必要がある。
結果として生じる4アウトプット差は、丸め誤差を隠蔽するのに十分小さい。
有限干渉系列評価のための混合精度法である有限干渉レンズ(FIL)を提案する。
各選択された線形射影において、FILは各候補の入力をネイティブ状態と2つの単一干渉成分と全次元混合残差に分解する。
単一干渉成分を高い精度で投影し、全ての混合残留軌道と非線形軌道を維持しながら、結合候補に同じ数値的寄与を再利用する。
滑らかな非線形性を通して局所キャンセルIDと誤り伝播の条件付き境界を導出する。
Qwen3-VL-4B-インストラクタの1つのMLPでは、FILは16の合成ファミリーで94.4%、また2つの異なる4次元COCO研究で99.85%と99.35%の最終相互作用を減少させる。
1枚の画像は、COCOの各研究における絶対的な利益のほとんどを占めている。
全ての候補に対して高い精度のマルチプロデューサBF16演算は、同じ総問合せ時間で低い集約誤差を与える。
単一プロダクトのBF16はすでに、テストした候補選択タスクの参照選択を復元しています。
これらの開発インプットに基づいて、FILは、固定された名目精度予算における相互作用の忠実度を改善する。
その実用的価値は、余分な忠実さを必要とするタスクに依存します。
関連論文リスト
- Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。
同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。
実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
論文 参考訳(メタデータ) (2026-09-22T15:54:16Z) - Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳(メタデータ) (2026-09-15T11:19:03Z) - Certified Optimal Measurement Reduction over Quantum Context Landscapes [0.0]
RANGEを用いて,Fockproxy-co-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockpr oxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy-Fockproxy。
論文 参考訳(メタデータ) (2026-07-18T16:06:52Z) - Soft Tuy-Completeness for Robust Projection Selection in Cone-Beam CT [4.213649496201482]
本研究は、関心領域集束コーンビームCTにおける投射選択のための、連続したソフトなほぼ直交性スコアと、分解能を考慮した飽和被曝目標を導入する。
論文 参考訳(メタデータ) (2026-05-20T12:37:15Z) - IV-ICL: Bounding Causal Effects with Instrumental Variables via In-Context Learning [11.804716294874018]
IV-ICLは、因果効果の限界後部分布を直接学習し、その量子化として境界を導出するアモータイズされたベイズ内文脈学習法である。
合成および半合成IVベンチマーク上でIV-ICLを評価し,より信頼性が高く,より情報性の高い間隔を生成することを示す。
論文 参考訳(メタデータ) (2026-05-13T03:00:08Z) - FMIP: Joint Continuous-Integer Flow For Mixed-Integer Linear Programming [52.52020895303244]
Mixed-Integer Linear Programming (MILP)は、複雑な意思決定問題の基本的なツールである。
混合整数線形計画法(FMIP)のための連立連続整数フローを提案する。これはMILPソリューションにおける整数変数と連続変数の共分散をモデル化する最初の生成フレームワークである。
FMIPは任意のバックボーンネットワークや様々なダウンストリームソルバと完全に互換性があり、現実世界のMILPアプリケーションにも適している。
論文 参考訳(メタデータ) (2025-07-31T10:03:30Z) - MASS: MoErging through Adaptive Subspace Selection [55.03293736484465]
モデルマージの新しいアプローチであるMASS(MoErging through Adaptive Subspace Selection)を提案する。
MASSはタスクごとに最も健全な特異なコンポーネントのみを格納し、それらを共有モデルにマージする。
我々は,8,14,20タスクのベンチマークに対して,ViT-B-16,ViT-B-32,ViT-L-14を用いて,CLIPに基づく画像分類のMASSを評価する。
論文 参考訳(メタデータ) (2025-04-06T08:49:52Z) - Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。
本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。
我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
論文 参考訳(メタデータ) (2025-03-12T15:46:12Z) - Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。
そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。
良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。
我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
論文 参考訳(メタデータ) (2023-12-25T01:00:58Z) - Full Matching on Low Resolution for Disparity Estimation [84.45201205560431]
本研究では,マルチステージ完全一致格差推定法(MFM)を提案する。
また,低分解能3次元コストを見積もる代わりに,低分解能4次元ボリュームから全類似度スコアを段階的に切り離すことを実証した。
実験の結果,提案手法は,シーンフローやkitti 2012,kitti 2015のデータセットにおいて,より正確な不一致推定結果を達成し,最先端の手法を上回った。
論文 参考訳(メタデータ) (2020-12-10T11:11:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。