Fugu-MT 論文翻訳(概要): Multi-Gate Residuals

論文の概要: Multi-Gate Residuals

arxiv url: http://arxiv.org/abs/2605.23259v1
Date: Fri, 22 May 2026 06:00:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-25 17:29:20.217729
Title: Multi-Gate Residuals
Title（参考訳）: マルチゲート残像
Abstract要約: 本稿では,MGR(Multi-Gate Residuals)を提案する。 MGRは大規模なトレーニングとデプロイメントに実用的であり、既存のアーキテクチャよりも明確なパフォーマンス向上を提供する。
参考スコア（独自算出の注目度）: 4.946825241542971
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While Attention Residuals has shown some effectiveness in addressing the widespread issue of unbounded activation growth across deep residual layers, it inevitably incurs significant communication overhead. To circumvent this bottleneck, we propose Multi-Gate Residuals (MGR), which stabilizes activation scales without additional communication burden. It utilizes a straightforward scoring and gating mechanism to maintain multi-stream context, coupled with Attention Pooling to extract hidden states from the stream states. Empirical experiments demonstrate that MGR is practical for large-scale training and deployment, offering tangible performance improvements over existing architectures.
Abstract（参考訳）: Attention Residualsは、深い残層にまたがる非バウンドなアクティベーション成長の広範な問題に対処する上で、いくつかの効果を示してきたが、必然的にかなりの通信オーバーヘッドを引き起こす。このボトルネックを回避するために,通信負荷を伴わずにアクティベーションスケールを安定化するMGR(Multi-Gate Residuals)を提案する。ストレートなスコアリングとゲーティング機構を使用してマルチストリームコンテキストを維持し、アテンションプールと組み合わせてストリーム状態から隠れた状態を抽出する。経験的な実験では、MGRは大規模なトレーニングとデプロイメントに実用的であり、既存のアーキテクチャよりも明確なパフォーマンス向上を提供する。

関連論文リスト

What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference [13.194874392306085]
本稿では、クライアントの入力を再構築するために、中間的なアクティベーションマッチング問題を解決するActInvを紹介する。この脆弱性を理解するために、我々は、層固有の復元抵抗を定量化する指標である摂動増幅係数(PAF)を開発した。私たちの分析によると、プライバシーの脆弱性はレイヤ間で均一ではなく、いくつかのレイヤはリークの影響を受けやすいが、他のレイヤは自然な抵抗を提供する。
論文参考訳（メタデータ） (2026-05-22T02:14:16Z)
Causal Bootstrapped Alignment for Unsupervised Video-Based Visible-Infrared Person Re-Identification [52.784239635604735]
VVI-ReIDは、静止画像以外にも時間情報が付加的な手がかりを提供する、全日監視のための重要な技術である。既存のアプローチは、高価なクロスモダリティアノテーションによる完全な教師付き学習に大きく依存しており、スケーラビリティが制限されています。そこで,本研究では,ビデオの先行を明示的に活用するCausal Bootstrapped Alignmentフレームワークを提案する。
論文参考訳（メタデータ） (2026-04-17T02:15:59Z)
Semantic Trimming and Auxiliary Multi-step Prediction for Generative Recommendation [22.025559532445012]
両端最適化戦略を利用したSTAMP(Semantic Trimming and Auxiliary Multi-step Prediction)を提案する。パブリックなAmazonおよび大規模産業データセットの実験では、STAMPは1.23--1.38$times$ speedupと17.2%--54.7%のVRAM削減を達成した。
論文参考訳（メタデータ） (2026-04-07T02:00:23Z)
PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
論文参考訳（メタデータ） (2026-04-02T14:04:53Z)
Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。 VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
論文参考訳（メタデータ） (2026-03-27T12:22:13Z)
ARES: Scalable and Practical Gradient Inversion Attack in Federated Learning through Activation Recovery [73.8181449261685]
Federated Learning(FL)は、モデルの更新を生データではなく共有することで、ユーザのプライバシ保護を目的としたコラボレーションモデルトレーニングを可能にする。最近の研究によると、これらの共有更新は、勾配反転攻撃(GIA)を通じて、不注意にセンシティブなトレーニングデータを漏洩する可能性がある。
論文参考訳（メタデータ） (2026-03-18T11:40:44Z)
Towards an Incremental Unified Multimodal Anomaly Detection: Augmenting Multimodal Denoising From an Information Bottleneck Perspective [15.313681588364242]
我々は,Mambaデコーダと情報ボトルネック融合モジュールの相補的利点を利用する,IB-iumADと呼ばれる新しいデノナイズフレームワークを導入する。 MVTec 3D-ADとEyecandiesのデータセットに関する一連の理論的分析と実験は、IB-iumADの有効性と競争性能を示している。
論文参考訳（メタデータ） (2026-03-03T05:58:35Z)
MORE: Multi-Objective Adversarial Attacks on Speech Recognition [39.77140497042348]
Whisperのような大規模自動音声認識(ASR)モデルは、様々な現実世界のアプリケーションで採用を広げている。したがって、小さな入力の摂動に対する堅牢性は、リアルタイム環境における信頼性の高い性能を維持するために重要である。認識精度と推論効率を両立させる多目的反復倍増促進攻撃MOREを導入する。
論文参考訳（メタデータ） (2026-01-05T07:27:57Z)
Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文参考訳（メタデータ） (2025-09-26T14:39:13Z)
MAT: Multi-Range Attention Transformer for Efficient Image Super-Resolution [14.265237560766268]
画像超解像(SR)タスクのためのマルチランジアテンショントランス (MAT) を提案する。 MATはマルチレンジ・アテンション(MA)とスパース・マルチレンジ・アテンション(SMA)の両方を促進する。また、MSConvStarモジュールを導入し、マルチレンジ表現学習におけるモデルの能力を高める。
論文参考訳（メタデータ） (2024-11-26T08:30:31Z)
MCU-Net: A Multi-prior Collaborative Deep Unfolding Network with Gates-controlled Spatial Attention for Accelerated MR Image Reconstruction [9.441882492801174]
ディープ・アンフォールディング・ネットワーク(DUN)はMRI(accrating magnetic resonance imaging)において有意な可能性を証明しているしかし、それらはしばしば高い計算コストと緩やかな収束率に遭遇する。我々はこれらの制約に対処するため、MCU-Netと呼ばれるマルチプライオリティ協調型DUNを提案する。
論文参考訳（メタデータ） (2024-02-04T07:29:00Z)
Synergistic Multiscale Detail Refinement via Intrinsic Supervision for Underwater Image Enhancement [39.208417033777415]
マルチステージを含む水中シーンの細部を高度化するための内在監視(SMDR-IS)を提案する。 ASISFモジュールは、多段劣化段階における特徴伝達を正確に制御し、ガイドすることができる。 Bifocal Intrinsic-Context Attention Module (BICA) は画像中のマルチスケールシーン情報を効率的に活用する。
論文参考訳（メタデータ） (2023-08-23T05:40:55Z)
Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
論文参考訳（メタデータ） (2023-05-04T19:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。