Fugu-MT 論文翻訳(概要): A Deeper Analysis of Block-Sparse Featurizers

論文の概要: A Deeper Analysis of Block-Sparse Featurizers

arxiv url: http://arxiv.org/abs/2608.27515v1
Date: Thu, 27 Aug 2026 09:50:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.095551
Title: A Deeper Analysis of Block-Sparse Featurizers
Title（参考訳）: ブロックスパース機能器のより深い解析
Abstract要約: BSFはスパースオートエンコーダ(SAE)に似ているが、原子単位は単一の方向ではなく小さな部分空間(方向のブロック)である。この研究はBSFの強みと弱みを研究し、機能分割や構成といった古典的なSAE障害モードに悩まされていることを発見した。
参考スコア（独自算出の注目度）: 49.5592634442128
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The recently introduced block-sparse featurizer (BSF; Fel et al., 2026) is similar to a sparse autoencoder (SAE), but its atomic unit is a small subspace (a block of directions) rather than a single direction. It is designed for features that live on low-dimensional manifolds, which are especially frequent in vision. This work studies the BSF's strengths and weaknesses, finding how it still somewhat suffers from classic SAE failure modes, like feature splitting and composition. We propose several architectural changes to the BSF, including a Tournament Top-K selection rule that significantly reduces feature splitting, and we also extend the block paradigm to the crosscoder.
Abstract（参考訳）: 最近導入されたBSF (Bel et al , 2026) はスパースオートエンコーダ (SAE) に似ているが、原子単位は単一の方向ではなく小さな部分空間(方向のブロック)である。これは低次元多様体上に存在する特徴のために設計されており、特に視覚において頻繁である。この研究はBSFの強みと弱みを研究し、機能分割や構成といった古典的なSAE障害モードに悩まされていることを発見した。本稿では,機能分割を大幅に削減するTournament Top-Kセレクションルールを含む,BSFのアーキテクチャ変更を提案し,ブロックパラダイムをクロスコーダに拡張する。

関連論文リスト

Class-Based Heuristic Selection for Solving the Flying Block Puzzle [0.0]
ヒューリスティック検索は、倉庫のロジスティクスからロボットナビゲーションまで、自律システムの計画を立てている。本研究では,NP完全空間計画マイクロワールドであるFlying Block Puzzleを用いて,この問題について検討する。クラスベースヒューリスティックA*アルゴリズムを導入し, 一般移動制約を統合し, 最小変位コストを推定する。
論文参考訳（メタデータ） (2026-08-20T09:18:21Z)
Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
論文参考訳（メタデータ） (2026-05-15T12:51:32Z)
Rethinking Transferable Adversarial Attacks on Point Clouds from a Compact Subspace Perspective [55.919842734983156]
CoSAは、共有された低次元セマンティック空間内で機能する転送可能なアタックフレームワークである。 CoSAは、最先端のトランスファー可能な攻撃を一貫して上回っている。
論文参考訳（メタデータ） (2026-01-30T15:48:11Z)
Block-Attention for Efficient Prefilling [6.916657784681611]
本稿では,Retrieval-Augmented Generation(RAG)シナリオにおける推論遅延の増加とコストに対処するアテンションメカニズムであるBlock-attentionを紹介する。各パスをブロックとして定義することで、ブロックアテンションは、これまで見てきたパスのKV状態の再利用を可能にします。ブロックアテンションは、最初のトークン(TTFT)と浮動小数点演算(FLOP)の時間を極端に低くする。
論文参考訳（メタデータ） (2024-09-14T02:34:26Z)
Towards Universal Dense Blocking for Entity Resolution [49.06313308481536]
ドメインに依存しない、容易に観測可能なコーパス上で事前学習を行う密集型ブロッカであるUniBlockerを提案する。ドメインに依存しない事前トレーニングを行うことで、UniBlockerはドメイン固有の微調整を必要とせずに、さまざまなダウンストリームブロッキングシナリオに適応できる。提案したUniBlockerは、ドメイン固有の学習を一切行わず、従来の自己および教師なしの密なブロッキング手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2024-04-23T08:39:29Z)
Efficient Motion Modelling with Variable-sized blocks from Hierarchical Cuboidal Partitioning [24.100530697346155]
ブロックベースアーキテクチャを用いたモーションモデリングは、フレームを独立して補償される固定サイズのブロックに分割するビデオ符号化において広く用いられている。我々は、スケーラブルなビデオ符号化に使用される固定サイズのブロックに対して、動きモデリングにおける立方体の可能性について検討した。
論文参考訳（メタデータ） (2022-08-28T04:13:58Z)
Stage-Aware Feature Alignment Network for Real-Time Semantic Segmentation of Street Scenes [59.81228011432776]
街路シーンのリアルタイムなセマンティックセグメンテーションのためのSFANet(Stage-Aware Feature Alignment Network)を提案する。デコーダにおける各ステージのユニークな役割を考慮に入れ、新しいステージ認識機能拡張ブロック(FEB)は、エンコーダからの特徴マップの空間的詳細と文脈的情報を強化するように設計されている。実験の結果,提案したSFANetは,ストリートシーンのリアルタイムセマンティックセグメンテーションにおける精度と速度のバランスが良好であることがわかった。
論文参考訳（メタデータ） (2022-03-08T11:46:41Z)
Frequency-aware Discriminative Feature Learning Supervised by Single-Center Loss for Face Forgery Detection [89.43987367139724]
顔の偽造検出は、コンピュータビジョンへの関心をますます高めている。近年の業績は良好なものとなっているが、いまだに無視できない問題がある。本稿では,新しい周波数認識型特徴学習フレームワークを提案する。
論文参考訳（メタデータ） (2021-03-16T14:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。