Fugu-MT 論文翻訳(概要): Dual Attention Residuals

論文の概要: Dual Attention Residuals

arxiv url: http://arxiv.org/abs/2607.18730v1
Date: Tue, 21 Jul 2026 05:42:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-22 19:05:05.318587
Title: Dual Attention Residuals
Title（参考訳）: Dual Attention Residuals
Abstract要約: 本稿では,歴史的検索にマルチストリームインタラクションをもたらすデュアルアテンション残差を提案する。各ターゲットストリームに対して、DARは反対ストリームの正規化状態からの深さ重みを計算し、ターゲットストリーム自身の履歴から値に適用する。 DARは、標準の残差トランスフォーマーとアテンション残差に対するバリデーション損失を継続的に改善する。
参考スコア（独自算出の注目度）: 34.183227979638595
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work extends Transformer residual pathways along two complementary axes: historical retrieval selects information from earlier depths, whereas multi-stream methods maintain multiple residual trajectories. These capabilities have largely been studied in isolation, and assigning an independent retriever to each stream still prevents one trajectory from influencing depth selection in another. We propose Dual Attention Residuals (DAR), which brings multi-stream interaction into historical retrieval through reciprocal cross-stream addressing. For each target stream, DAR computes depth weights from normalized states in the opposite stream and applies them to values from the target stream's own history. The retrieved states are combined for an unchanged Transformer branch and updated through constrained gated writes; a block-form variant operates on block-level histories to control overhead. Across dense models from 0.1B to 1B parameters and a 7B sparse-MoE model, DAR consistently improves validation loss over standard residual Transformers and Attention Residuals. Routing ablations show that the gain cannot be explained by an additional stream or value projection alone. Representation and intervention analyses further show that reciprocal cross-stream selection preserves depth-wise diversity and avoids the redundancy or functional imbalance observed in alternative two-stream designs.
Abstract（参考訳）: 最近の研究はトランスフォーマーの残留経路を2つの相補的な軸に沿って拡張している。これらの能力は独立して研究されており、独立したレトリバーを各ストリームに割り当てることによって、ある経路が他の経路の深さ選択に影響を与えるのを防ぐことができる。本稿では,複数ストリームの相互参照による履歴検索を実現するDAR(Dual Attention Residuals)を提案する。各ターゲットストリームに対して、DARは反対ストリームの正規化状態からの深さ重みを計算し、ターゲットストリーム自身の履歴から値に適用する。取得された状態は変更のないTransformerブランチに結合され、制約付きゲート書き込みを通じて更新される。 0.1B から 1B までの高密度モデルと 7B スパース-MoE モデルに対して,DAR は標準残差変換器および注意残差に対する検証損失を一貫して改善する。ルーティングの短縮は、追加のストリームやバリュープロジェクションだけでは利得を説明できないことを示している。表現と介入の分析により、相互のクロスストリーム選択は深度ワイドな多様性を保ち、代替の2ストリーム設計で観察される冗長性や機能的不均衡を回避することが示される。

関連論文リスト

DRIFT: Removing Diffusion Watermarks by Deflecting the Generative Trajectory [9.706332101916248]
拡散透かしは、検証可能な信号を生成過程に埋め込む。我々は,部分的な前方拡散と逆再サンプリングを組み合わせたブラックボックス攻撃であるDRIFTを提案する。 3つのパラダイムにまたがる9つの透かしのうち、DRIFTは98-100%の攻撃成功と最高の画質を達成する。
論文参考訳（メタデータ） (2026-09-08T03:54:17Z)
DUET -- Dual User Embedding Transformers for Offsite Conversion Prediction [8.972672149050627]
計算レコメンデーションシステムにおいて,オフサイト変換率(OCVR)予測は重要なランキング問題である。このタスクは、クリック信号が豊富で、短い時間的水平線を示すのに対して、変換信号は本質的に疎く、長い遅延があり、しばしば未配布である。ユーザ行動データを2つのドメインコヒーレントなストリーム – クリックと変換 – に明示的に分割するフレームワークであるDUETを提案する。
論文参考訳（メタデータ） (2026-06-08T23:13:58Z)
Action-Inspired Generative Models [0.0]
アクションインスパイアされた生成モデル(AGM) 既往の橋梁整合法が輸送景観の遷移に均一な回帰重みを割り当てるという観察に動機づけられた双対ネットワーク生成フレームワークを導入する。学習可能なポテンシャルを通して不定形輸送経路を選択的に解析すると、フィデリティとカバレッジのメトリクス間で生成品質が一貫した改善が得られることを実証する。
論文参考訳（メタデータ） (2026-05-14T09:43:32Z)
Beyond Reconstruction: Reconstruction-to-Vector Diffusion for Hyperspectral Anomaly Detection [9.078979356836193]
ハイパースペクトル異常検出(HAD)は、複雑なシーンにおけるスパースターゲットの同定に優れる。既存のモデルは、スカラー・アズ・ア・エンドポイント(reconstruction-as-endpoint)パラダイムに閉じ込められているままである。本稿では, 精製源として再構成を再定義するリコンストラクション・トゥ・ディフュージョン(R2VD)を提案する。 R2VDは新たな最先端技術を確立し、例外的な目標検出のバックグラウンドを提供する。
論文参考訳（メタデータ） (2026-04-13T12:31:50Z)
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture [9.977810035655805]
外乱検出と概念ドリフト検出は、データ分析における2つの課題である。本稿では,関節外乱と概念ドリフト検出のための新しい頑健な回帰フレームワークを提案する。 EWMAD-DTにより強化された本フレームワークは,点アウトレーヤやコンセプトドリフトが共存しても優れた検出性能を示す。
論文参考訳（メタデータ） (2025-12-13T11:17:47Z)
DiffusionDriveV2: Reinforcement Learning-Constrained Truncated Diffusion Modeling in End-to-End Autonomous Driving [65.7087560656003]
エンドツーエンドの自動運転のための生成拡散モデルは、しばしばモード崩壊に悩まされる。強化学習を利用して低品質モードを制約し,優れた軌道探索を行うDiffusionDriveV2を提案する。これにより、そのコアであるガウス混合モデル固有の多重モード性を維持しながら、全体的な出力品質が大幅に向上する。
論文参考訳（メタデータ） (2025-12-08T17:29:52Z)
Stable Video Infinity: Infinite-Length Video Generation with Error Recycling [76.91310169118408]
本研究では、高時間一貫性、可視的シーン遷移、制御可能なストリーミングストーリーラインを有する無限長ビデオを生成することができる安定ビデオインフィニティ(SVI)を提案する。 SVIにはError-Recycling Fine-Tuningが組み込まれており、これはDiffusion Transformerの自己生成エラーをスーパーバイザのプロンプトにリサイクルする、新しいタイプの効率的なトレーニングである。我々は、一貫性、創造性、条件設定を含む3つのベンチマークでSVIを評価し、その汎用性と最先端の役割を徹底的に検証した。
論文参考訳（メタデータ） (2025-10-10T09:45:46Z)
FlowDPS: Flow-Driven Posterior Sampling for Inverse Problems [51.99765487172328]
逆問題解決のための後部サンプリングは,フローを用いて効果的に行うことができる。 Flow-Driven Posterior Smpling (FlowDPS) は最先端の代替手段よりも優れています。
論文参考訳（メタデータ） (2025-03-11T07:56:14Z)
Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
論文参考訳（メタデータ） (2024-07-25T09:53:12Z)
Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
論文参考訳（メタデータ） (2020-09-21T13:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。