論文の概要: CHASE: Channel-Aligned Structure Exploitation for Geometry-Aware Model Engineering
- arxiv url: http://arxiv.org/abs/2610.09476v1
- Date: Wed, 07 Oct 2026 05:33:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.73615
- Title: CHASE: Channel-Aligned Structure Exploitation for Geometry-Aware Model Engineering
- Title（参考訳）: CHASE:幾何学的モデル工学のためのチャネルアライン構造爆発
- Abstract要約: CHASEはモデル修正、再構成、圧縮の6つのアプリケーションをカバーする。
CORA、COEC、CORAMはGSAをパラメータ効率の高い微調整、構造化プルーニング補償、モデルマージに適用する。
CORA, COEC, CORAMの結果は, GSAの適応, プルーニング補償, モデルマージに対する有効性を確立した。
- 参考スコア（独自算出の注目度）: 5.468523967757727
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Geometric and Spectral Alignment (GSA) characterizes trained networks through spectral concentration, physical-channel alignment, support structure, and changes in singular bases. In this paper, we propose CHASE (Channel-Aligned Structure Exploitation) to use these structures in practical model design. CHASE covers six applications across model modification, reconfiguration, and compression. CORA, COEC, and CORAM apply GSA to parameter-efficient finetuning, structured-pruning compensation, and model merging. We further develop three new methods. CAGA uses GSA to identify multi-head attention heads that can share a KV representation and constructs the shared key and value heads through geometric alignment and low-rank subspace extraction. SAKV uses GSA to determine which adjacent layers can share a low-rank KV-cache representation and the retained rank for each layer group. CAPS uses GSA spectral structure to group output neurons and selects retained input channels separately for each group. Results from CORA, COEC, and CORAM establish the effectiveness of GSA for adaptation, pruning compensation, and model merging. Experiments on CAGA show that geometric shared-head construction substantially improves MHA-to-GQA conversion, and SAKV and CAPS improve over representative baselines for KV-cache compression and structured pruning. These results show that the structures identified by GSA can be used directly to design methods for a range of model operations.
- Abstract（参考訳）: Geometric and Spectral Alignment (GSA)は、スペクトル集中、物理チャネルアライメント、サポート構造、特異基底の変化を通じて訓練されたネットワークを特徴付ける。
本稿では,これらの構造を実用モデル設計に用いるCHASE(Channel-Aligned Structure Exploitation)を提案する。
CHASEはモデル修正、再構成、圧縮の6つのアプリケーションをカバーする。
CORA、COEC、CORAMはGSAをパラメータ効率の高い微調整、構造化プルーニング補償、モデルマージに適用する。
我々はさらに3つの新しい方法を開発した。
CAGAはGSAを用いて、KV表現を共有可能なマルチヘッドアテンションヘッドを特定し、幾何学的アライメントと低ランク部分空間抽出を通じて共有キーと値ヘッドを構築する。
SAKVはGSAを使用して、各層群に対して、どの隣接層が低ランクのKVキャッシュ表現と保持ランクを共有することができるかを判定する。
CAPSはGSAスペクトル構造を用いて出力ニューロンをグループ化し、各グループごとに保持された入力チャネルを別々に選択する。
CORA, COEC, CORAMの結果は, GSAの適応, プルーニング補償, モデルマージに対する有効性を確立した。
CAGAの実験では、幾何学的共有ヘッド構造はMHA-to-GQA変換を大幅に改善し、SAKVとCAPSはKV-cache圧縮と構造化プルーニングの代表的なベースラインよりも改善している。
これらの結果から, GSAによって同定された構造は, モデル操作の範囲を設計するために直接利用できることがわかった。
関連論文リスト
- Geometry-Aware Operator Families for Structured Representation Learning [8.820825533010543]
EmphGeometry-induced Operator Families (GIOF) は、固定幾何を伝播演算子の構造化されたファミリに変換する一般的なフレームワークである。
パラメータ圧縮,識別可能性,安定性,局所性,構成構造,過度な動作をカバーする理論的保証を確立する。
PEMS-BAYとMETR-LAの実験は、報告されているすべての地域停電状況の中で最低値のMAEを達成する。
論文 参考訳（メタデータ） (2026-09-27T01:52:51Z) - Bi-EZP: LLM-Guided Bilevel Program Evolution for Ensemble Zero-Cost Proxy Discovery [2.751603258501323]
Bi-EZPは、プログラム発見と数値キャリブレーションを分離するバイレベルフレームワークである。
その結果,プログラム発見と数値キャリブレーションの分離は,ゼロコストプロキシの自動アンサンブル構築に有効な手法であることが示唆された。
論文 参考訳（メタデータ） (2026-08-22T11:34:35Z) - GeoSeg-OV: Bridging Geospatial Gaps with Structural Guidance for Open-Vocabulary Remote Sensing Segmentation [7.3929592417688275]
補助的なVFM機能を視覚テキストマッチングから切り離し、コスト集約とデコードのための構造的ガイダンスとして再利用するGeoSeg-OVを提案する。
6大陸にまたがる7つのデータセットにまたがる世界規模の高解像度土地被覆ベンチマークでは、GeoSeg-OVは2つのトレーニング設定の下で、最先端のmIoUを+2.5および+2.7の平均mIoUで上回っている。
論文 参考訳（メタデータ） (2026-08-11T03:18:22Z) - Statistical Channel Fingerprint Construction for Massive MIMO: A Unified Tensor Learning Framework [51.39651336043647]
チャネル指紋(CF)は、IMO通信システムにおけるチャネル状態情報の取得を容易にする重要な手段であると考えられている。
統計的CSI(sCSI)を各電位で保存する新しいタイプのCFを提案し,これを統計的CF(sCF)と呼ぶ。
論文 参考訳（メタデータ） (2026-04-30T08:28:45Z) - PointDGRWKV: Generalizing RWKV-like Architecture to Unseen Domains for Point Cloud Classification [122.95228430332816]
ポイント領域一般化(DG)は、最近、ポイントクラウド分類(PCC)モデルの、目に見えない領域への一般化性を高めるために研究されている。
本稿では,DG PCCにおけるRWKVモデルの一般化可能性について述べる。
DG PCCに適したRWKVベースのフレームワークであるPointDGRWKVを提案する。
論文 参考訳（メタデータ） (2025-08-28T14:28:33Z) - Enhancing Representations through Heterogeneous Self-Supervised Learning [63.453024759497545]
本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。
HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。
HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-08T10:44:05Z) - QuACS: Variational Quantum Algorithm for Coalition Structure Generation
in Induced Subgraph Games [0.0]
我々は、ISGにおける結合構造生成のための新しいハイブリッド量子古典アルゴリズムを提案する。
提案アルゴリズムは既存の近似古典解法よりも$mathcalO(n2)$,予測近似比$92%$で優れていることを示す。
量子ビットの数は大幅に少なく、既存の量子解と比較して中規模の問題の実験が可能である。
論文 参考訳（メタデータ） (2023-04-14T16:01:27Z) - Content-aware Scalable Deep Compressed Sensing [8.865549833627794]
本稿では、画像圧縮センシング問題に対処するため、CASNetと呼ばれる新しいコンテンツ対応スケーラブルネットワークを提案する。
まず,各画像領域の重要度を評価するためにデータ駆動型サリエンシ検出器を採用し,サンプリングレートアロケーションのためのサリエンシベースのブロック比アグリゲーション(BRA)戦略を提案する。
トレーニングの収束を加速し、ネットワークの堅牢性を向上させるために、SVDベースのスキームとランダム変換強化(RTE)戦略を提案する。
論文 参考訳（メタデータ） (2022-07-19T14:59:14Z) - Rethinking Graph Convolutional Networks in Knowledge Graph Completion [83.25075514036183]
グラフ畳み込みネットワーク(GCN)は知識グラフ補完(KGC)においてますます人気が高まっている。
本稿では,代表的なGCNベースのKGCモデルを構築し,GCNのどの要因がKGCに重要なのかを明らかにする。
本稿では,既存のKGEモデルに線形変換されたエンティティ埋め込みを組み込む,LTE-KGEというシンプルなフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-08T11:36:18Z) - Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。
本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
論文 参考訳（メタデータ） (2021-08-16T11:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。