論文の概要: Breaking Information Islands in Sparse Tuning via Small-World Connectivity

• arxiv url: http://arxiv.org/abs/2610.41665v1
• Date: Fri, 30 Oct 2026 12:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.704955
• Title: Breaking Information Islands in Sparse Tuning via Small-World Connectivity
• Title（参考訳）: 小世界接続によるスパースチューニングにおける情報諸島の破壊
• Abstract要約: Small-World Induced Fine-Tuning (SWIFT) は、小型世界の接続性にインスパイアされたスパースチューニングフレームワークである。 理論的には、あるランダムスパース更新モデルとブロック対角更新が情報島を表現できることが示される。 常識推論、自然言語生成、画像分類の実験は、SWIFTが完全な微調整に適合または超えることを示した。
• 参考スコア（独自算出の注目度）: 54.5455969949374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse tuning is widely used to adapt large language models due to its parameter efficiency. However, its effectiveness depends not only on the number of trainable parameters, but also on the feature-interaction topology of the sparse update's structural support. Limited or uneven connectivity in this support may isolate subsets of feature dimensions, forming information islands that restrict direct task-specific interactions through the trainable update. To address this issue, we propose Small-World Induced Fine-Tuning (SWIFT), a sparse tuning framework inspired by small-world connectivity. SWIFT combines block-diagonal sparse updates for local feature mixing with a fixed deterministic scattering permutation that routes the mixed outputs across feature groups without additional trainable parameters. We further show theoretically that certain random sparse-update models and block-diagonal updates can exhibit information islands, whereas a sufficiently scattering permutation guarantees positive block-level expansion when the trainable block-diagonal factor consists of equal-sized, structurally dense square blocks. Extensive experiments on commonsense reasoning, natural language generation, and image classification demonstrate that SWIFT outperforms the evaluated parameter-efficient fine-tuning (PEFT) baselines on average and can match or surpass full fine-tuning. Implementation is available at https://github.com/xianchaoguan/SWIFT
• Abstract（参考訳）: スパースチューニングはそのパラメータ効率のため、大きな言語モデルに適応するために広く使用されている。 しかし、その有効性はトレーニング可能なパラメータの数だけでなく、スパース更新の構造的サポートの特徴-相互作用トポロジーにも依存する。 このサポートにおける限定的あるいは不均一な接続は、特徴次元のサブセットを分離し、トレーニング可能な更新を通じて、直接タスク固有のインタラクションを制限する情報島を形成する。 この問題に対処するため,スモールワールド誘導ファインチューニング(SWIFT)を提案し,スモールワールド接続にインスパイアされたスパースチューニングフレームワークを提案する。 SWIFTは、局所的特徴混合のためのブロック対角スパース更新と固定決定論的散乱置換を組み合わせ、混合出力を追加の訓練可能なパラメータなしで特徴群にルーティングする。 さらに, あるランダムスパース更新モデルとブロック対角的更新が情報アイランドを示すことを理論的に示す一方, トレーニング可能なブロック対角係数が等大で構造的に密な2乗ブロックからなる場合, 十分な散乱置換により正のブロックレベル展開が保証される。 コモンセンス推論、自然言語生成、画像分類に関する大規模な実験により、SWIFTは評価されたパラメータ効率の微調整(PEFT)ベースラインを平均で上回り、完全な微調整に適合または超えることを示した。 実装はhttps://github.com/xianchaoguan/SWIFTで公開されている。

関連論文リスト

• Efficient Online Proportional Sampling with Applications to Smoothed Online Learning [17.03942758909167]
  我々は,高次元領域からの効率的なオンライン比例サンプリングの問題を,$$smoothedの逆条件下で検討した。 この設定は、プリンシパルエージェントゲーム(価格や契約設計など)を含む幅広いアプリケーションを取り込む。 我々は、データ構造の深さに厳密な$O(sqrtT)$バウンドを証明し、ランダムなオーダー逆数の下で$O(log T)$バウンドを証明した。
  論文  参考訳（メタデータ） (2026-07-13T00:16:17Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers [12.475144734899674]
  我々は,選択したレイヤのD次元トークン表現をKDグループに分割する軽量PEFTフレームワークGRASPを紹介し,各グループに対して共有スケーリングおよびシフトベクトルを学習する。 決定論的値ではなく,事前学習した重みに対する摂動としてガウス分布を学習するStochGRASPを提案する。 様々なノイズレベルの下で、StochGRASPは決定論的変異を一貫して上回り、エネルギー効率とノイズを発生させるハードウェアプラットフォームに適していることを示した。
  論文  参考訳（メタデータ） (2025-12-03T22:17:05Z)
• Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance [13.636389424786854]
  各タスクのコアパラメータは、統一されたバックボーンに移植される。 異なるタスクの非コアパラメータは、Spherical Linear Interpolationを通じてスムーズに統合される。 複数の公開ベンチマークの実験は、我々のアプローチがタスクの干渉や忘れを著しく軽減していることを示している。
  論文  参考訳（メタデータ） (2025-08-29T16:07:33Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Wide-band butterfly network: stable and efficient inversion via multi-frequency neural networks [1.2891210250935143]
  広帯域散乱データから逆散乱マップを近似するために,広帯域蝶ネットワーク(WideBNet)と呼ばれるエンドツーエンドのディープラーニングアーキテクチャを導入する。 このアーキテクチャでは、バタフライの分解のような計算調和解析や、クーリー・テューキーFFTアルゴリズムのような伝統的なマルチスケール手法のツールが組み込まれている。
  論文  参考訳（メタデータ） (2020-11-24T21:48:43Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。