論文の概要: BMFA: Boundary-Minority Free-Energy Adaptive Screening
- arxiv url: http://arxiv.org/abs/2607.17656v1
- Date: Mon, 20 Jul 2026 08:07:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.544508
- Title: BMFA: Boundary-Minority Free-Energy Adaptive Screening
- Title(参考訳): BMFA: 境界ミノリティフリーエネルギ適応スクリーニング
- Abstract要約: 視覚変換器は、粗いトークンサマリーが指数関数的な注意集約によって要求される証拠を保存する場合にのみ、空間的に冗長なトークンを効率的に処理する。
我々は、正規化された対数平均自由エネルギーと平均要約との相違による失敗を形式化する。
本稿では,局所的自由エネルギーの計算可能な低バウンド増加に応じて,階層的な一括定数近似を構築し,ブロックを洗練する境界自由エネルギー適応スクリーニング(BMFA)を提案する。
- 参考スコア(独自算出の注目度): 1.2891210250935148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision Transformers process spatially redundant tokens efficiently only when coarse token summaries preserve the evidence required by exponential attention aggregation. We identify a boundary-minority underestimation failure in which a spatially small, high-response region contributes dominant Gibbs mass while remaining nearly invisible to a block mean. We formalize the failure through the discrepancy between normalized log-mean-exp free energy and mean summarization, prove that minority Gibbs mass can remain non-vanishing as its spatial support and mean contribution vanish, and characterize the limitations of finite-order moment corrections. Building on the resulting analysis, we introduce Boundary-Minority Free-Energy Adaptive Screening (BMFA), which constructs a hierarchical piecewise-constant approximation and recursively refines blocks according to a computable lower-bound increment of local free energy. Controlled synthetic tests, COCO and LVIS diagnostic probes, closed-loop DeiT-Tiny evaluations, and ImageNet-1K experiments establish a consistent evidence chain. BMFA reduces the mean synthetic underestimate from 2.582 to 0.261 at a 5.794% leaf ratio, lowers the COCO image-edge mean gap from 2.254 to 0.526, and preserves 71.520% ImageNet Top-1 accuracy at a 55.861% leaf ratio. The current prototype evaluates selection quality after full QK computation; the reported leaf ratio therefore characterizes representation granularity rather than verified sparse-kernel speedup.
- Abstract(参考訳): 視覚変換器は、粗いトークンサマリーが指数関数的な注意集約によって要求される証拠を保存する場合にのみ、空間的に冗長なトークンを効率的に処理する。
本研究では,空間的に小さい高応答領域が支配的なギブズ質量に寄与し,ブロック平均にほとんど見えない境界ミノリティ過小評価失敗を同定する。
我々は、正規化された対数平均自由エネルギーと平均要約の相違による失敗を形式化し、その空間的支持と平均寄与が消えるにつれて、少数派ギブス質量が非消滅し続けることを証明し、有限次モーメント補正の限界を特徴づける。
解析結果に基づいて,階層的な一括定数近似を構築し,局所的自由エネルギーの計算可能な低バウンド増加に応じてブロックを再帰的に洗練する境界自由エネルギー適応スクリーニング(BMFA)を導入する。
制御された合成試験、COCOおよびLVIS診断プローブ、クローズループDeiT-Tinyの評価、ImageNet-1K実験は、一貫したエビデンスチェーンを確立する。
BMFAは、平均合成過小評価を2.582から0.261に5.794%のリーフ比で下げ、COCOイメージエッジ平均ギャップを2.254から0.526に下げ、55.861%のリーフ比で71.520%のImageNet Top-1精度を維持する。
現在のプロトタイプは完全なQK計算後の選択品質を評価しており、報告されたリーフ比はスパースカーネルの高速化ではなく表現の粒度を特徴付ける。
関連論文リスト
- Kohn-Sham Spectral Embedding on Sparse Graphs at the Nishimori Temperature for Image Classification [0.0]
Kohn-Sham Spectral Embedding (KSSE)
畳み込みネットワークの上位層を、関連するランダム・ボンド・アイシング・モデルの西森温度に埋め込んだスパースグラフスペクトルに置き換えたエネルギーベースモデル。
ImageNet-1000では、凍結されたEfficientNet-B4機能により、KSSEは21.24MパラメータビーティングSwin-L (197M, 86.4-87.3%)で88.93%のTop-1精度を達成し、ViT-H/14の下端(632M, 88.0-89.5%)を10倍と30倍のパラメータでマッチングした。
論文 参考訳(メタデータ) (2026-07-30T16:05:51Z) - Semi-Supervised Conditional Generative Learning through Stochastic Interpolation and Sufficient Representations [12.299177496689621]
条件固有項と低次元潜在表現を組み合わせた半教師付きフレームワークを提案する。
RepGは生成をラベル依存の潜伏サンプリングと高次元再構成の2段階に分解する。
論文 参考訳(メタデータ) (2026-07-18T09:21:53Z) - DCP-Prune: Ultra-Low Token Pruning with Distribution Consistency Preservation [55.38884985761757]
最近のビジョントークンプルーニング法は、中程度のトークン予算ではモデル性能を効果的に維持するが、超低トークン予算では不安定になる。
Anchor-Context Graph Recovery (ACGR) と Text-Aware Token Cluster Selection (TATCS) からなる2段階のプルーニングフレームワークを提案する。
超低トークン予算下で,本手法がより優れた,より安定した性能を実現することを示す実験を行った。
論文 参考訳(メタデータ) (2026-06-15T12:24:07Z) - In-Context Graphical Inference [9.39195684989942]
正確な推論を正すシーケンシャルな消去構造を復元する自動回帰グラフ変換器を導入する。
TT圧縮誤差は, 自己回帰連鎖を通じてほとんどリンカリーに伝播し, ディリクレ・マルティノミカル損失は適切なスコアリング則であり, WCPは推定密度比で定量劣化した範囲を維持していることを証明した。
論文 参考訳(メタデータ) (2026-06-03T16:04:00Z) - Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
遅延不一致による冗長性を除去する学習自由フレームワークを提案する。
LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
論文 参考訳(メタデータ) (2026-05-29T19:34:39Z) - Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs [0.0]
本研究では,PDE残差が保たれるハイブリッド設計について検討するが,有限差分は弱い補助項にのみ現れる。
FD項は、PDE残基自体を置き換えることなく残留体を正則化する。
種子0-5と100kのエポック全体で、最も信頼性の高い試験はクルコウタス・ベタ政権下での固定殻重量5e-4である。
論文 参考訳(メタデータ) (2026-04-15T23:09:19Z) - Pay Attention Later: From Vector Space Diffusion to Linearithmic Spectral Phase-Locking [0.0]
スタンダードトランスフォーマーは「セマンティックアライメント税」に苦しむ
位相共鳴インテリジェントスペクトルモデル(PRISM)を導入する。
PRISMは複素領域(Cd)における共振周波数としてのセマンティックアイデンティティを符号化し、二次自己アテンションをリニアリトミック O(N log N) Gated Harmonic Convolutions に置き換える。
論文 参考訳(メタデータ) (2025-12-01T02:46:15Z) - Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク
提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。
HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
論文 参考訳(メタデータ) (2025-10-12T05:38:10Z) - Assessing the Limits of Graph Neural Networks for Vapor-Liquid Equilibrium Prediction: A Cryogenic Mixture Case Study [3.765010805872486]
本研究では、GERG-2008/CoolPropデータに基づいてトレーニングされた構造対応グラフニューラルネットワーク(GNN; DimeNet++)が、状態方程式(EoS)の実用的なサロゲートとして機能するかどうかを問う。
我々は90~200K以上の3次データセットと100バーへの圧力を生成し、15%密度フィルタ(5,200状態を1,516に還元する)でキュレートし、各状態と軽量な分子力学スナップショットを組み合わせて構造特性の供給を行う。
我々は、構成上、この研究におけるサロゲートは、VLEに対して平衡対応可能ではなく、実行時利益を提供しない、と結論づける。
論文 参考訳(メタデータ) (2025-09-10T16:10:58Z) - Few-Step Diffusion via Score identity Distillation [67.07985339442703]
拡散蒸留は, テキスト・ツー・イメージ(T2I)拡散モデルを促進するための有望な戦略として浮上している。
既存の方法は、高分解能T2I拡散モデルを蒸留する際に、実像や教師合成画像に頼っている。
教師のCFGを無効にし、偽スコアネットワークでテキストコンディショニングを除去するZero-CFGと、偽スコアネットワークで否定的なCFGを適用するAnti-CFGの2つの新しいガイダンス戦略を提案する。
論文 参考訳(メタデータ) (2025-05-19T03:45:16Z) - Entanglement Distribution Delay Optimization in Quantum Networks with Distillation [51.53291671169632]
量子ネットワーク(QN)は、分散量子コンピューティングとセンシングアプリケーションを実現するために絡み合った状態を分散する。
QSリソース割り当てフレームワークは、エンド・ツー・エンド(e2e)の忠実度を高め、最小レートと忠実度を満たすために提案される。
論文 参考訳(メタデータ) (2024-05-15T02:04:22Z) - LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial
Attack [74.5144793386864]
LSDATは、入力サンプルのスパース成分と対向サンプルのスパース成分によって形成される低次元部分空間における摂動を加工する。
LSDは画像ピクセル領域で直接動作し、スパース性などの非$ell$制約が満たされることを保証します。
論文 参考訳(メタデータ) (2021-03-19T13:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。