Fugu-MT 論文翻訳(概要): Zero-Gated Cross-Attention

論文の概要: Zero-Gated Cross-Attention

arxiv url: http://arxiv.org/abs/2611.01116v1
Date: Sat, 31 Oct 2026 17:03:01 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 19:33:29.604407
Title: Zero-Gated Cross-Attention
Title（参考訳）: ゼロゲートクロスアテンション
Abstract要約: Inductively Gated Cross-Attention (IGCA) は、事前訓練されたモデル動作を保存するゼロdクロスアテンションブリッジである。フリーズされたFalcon-40B、open_llama_30b、Bloom-7b1の6つのデコーダ層で統合された。ホールドアウト評価では、最良ゲートオンチェックポイントは、ゲートオフベースラインの4.3469に対して2.2201の損失を達成する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Injecting non-text modalities into frozen language models often introduces early optimization instability, making it difficult to separate architectural gains from transient training dynamics. We introduce Inductively Gated Cross-Attention (IGCA), a zero-initialized cross-attention bridge that preserves pretrained model behavior at initialization while enabling gradual multimodal conditioning. Integrated across six decoder layers of frozen Falcon-40B, open_llama_30b, and Bloom-7b1 backbones (with 40,404,961,288 trainable adapter parameters used during training), IGCA acts as an exact algebraic no-op at initialization with a maximum output discrepancy of 0.00e+00. Over 59,500 training steps on Falcon-40B, the training loss decreases from 3.9403 to 0.0007 (with final ten step losses of [0.0001, 0.0003, 0.0005, 0.0002, 0.0005, 0.0011, 0.0005, 0.0006, 0.0005, 0.0007]). On held-out evaluation, the best gate-on checkpoint achieves a loss of 2.2201 compared to 4.3469 for the gate-off baseline -- a 48.9% reduction (2.1268 nats) -- while average held-out loss improves from 4.3423 to 2.2498 (1.9075 nats) with a mean gate magnitude of $\vert{}\tanh(α)\vert{} = 0.0713$.
Abstract（参考訳）: 凍結した言語モデルに非テキストのモダリティを注入すると、初期最適化の不安定性が生じ、アーキテクチャ上のゲインを過渡的なトレーニングダイナミクスから切り離すのが難しくなる。 Inductively Gated Cross-Attention (IGCA) は、段階的マルチモーダル条件付きで、初期化時に事前訓練されたモデル挙動を保存できるゼロ初期化クロスアテンションブリッジである。凍ったFalcon-40B、open_llama_30b、Bloom-7b1のバックボーン(40,404,961,288のトレーニング可能なアダプタパラメータを持つ)の6つのデコーダ層で統合され、IGCAは最大出力誤差0.00e+00で初期化時に正確な代数的ノップとして機能する。 Falcon-40Bの59,500以上のトレーニングステップでは、トレーニング損失は3.9403から0.0007に減少する(最終的な10ステップの損失は[0.0001, 0.0003, 0.0005, 0.0002, 0.0005, 0.0011, 0.0005, 0.0006, 0.0005, 0.0007])。ホールドアウト評価では、最高のゲートオンチェックポイントは、ゲートオフベースラインの4.3469に対して2.2201の損失(48.9%の削減(2.1268ナット))を達成するが、平均ホールドアウト損失は4.3423から2.2498(1.9075ナット)に改善され、平均ゲートマグニチュードは$\vert{}\tanh(α)\vert{} = 0.0713$である。

関連論文リスト

Self-Supervised Pretraining for PHM: What Transfers, What Does Not, and What Federating It Costs [0.0]
自己監督型プレトレーニングは、有能な時系列基礎モデルを生み出しているが、その予後と健康管理の価値は測定されていない。我々は、47の公開PHMデータセットのコーパスで測定し、単一のテンソル契約に調和し、11のデータセットが完全に事前トレーニングから守られるように分割する。
論文参考訳（メタデータ） (2026-10-26T11:50:33Z)
Pre-registered tests of solid-state-physics-inspired LLM compression: a cluster-level negative result at small-language-model scale [0.0]
訓練済み言語モデル上で5つの固体物理学にインスパイアされた圧縮マッピングをテストする3ヶ月の自律的リサーチエージェントプログラム。 4機のフェーズ3パイロットのうち3機が偽装された。結果は、ほとんどの注意頭はコーンの目に見える絶縁体のように振る舞うという事前登録の予測を逆転させる。
論文参考訳（メタデータ） (2026-09-28T04:38:14Z)
Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。重量のみの量子化下での活性化ステアリングを系統的に研究する。
論文参考訳（メタデータ） (2026-09-06T08:41:42Z)
On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文参考訳（メタデータ） (2026-08-31T06:35:07Z)
Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文参考訳（メタデータ） (2026-08-17T09:53:27Z)
RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance [84.26294415726723]
汎用報酬モデルが、ロボット学習のスケーリングのボトルネックになりつつある。ロボット操作のためのオープンソースのバリューファンデーションモデルであるRynnValueを紹介した。 RynnValueは7000時間以上、好みやプログレッシブアノテーションなしで約3Mの命令条件付きクリップにスケールする。
論文参考訳（メタデータ） (2026-08-10T17:09:37Z)
Discrete Action Space as a Prerequisite for GRPO Convergence in Small-Model Continuous Control [0.0]
グループ相対ポリシー最適化は、シミュレートされた四重項連続制御タスクのための小さな言語モデルを微調整することができる。このベンチマークでは、25Hzの4乗子速度制御のためのQwen-0.5BのバニラGRPO微調整が、自明なゼロ作用に崩壊する。 Crazyflie 2.1 ダイナミックスを用いた高忠実度シミュレーションは、ホバー領域のトレーニングと分配のギャップを表面化する。
論文参考訳（メタデータ） (2026-07-07T17:14:19Z)
ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
論文参考訳（メタデータ） (2026-05-28T12:40:22Z)
REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-03-17T21:19:08Z)
AdaGC: Improving Training Stability for Large Language Model Pretraining [18.163318397205533]
大きなLanguageText Models(LLM)は、スケーリング中に損失の急増に直面します。グローバルなクリッピングがこれを緩和する一方で、従来のアプローチは特定のバリエーションを緩和する。我々は,AdaGCがグローバルクリッピングよりも25%早く収束していることを示す。
論文参考訳（メタデータ） (2025-02-16T08:13:23Z)
Stable and low-precision training for large-scale vision-language models [108.62077651227607]
本稿では,大規模言語ビジョンモデルの学習の高速化と安定化のための新しい手法を提案する。 Int8量子化トレーニングのための線形層であるSwitchBackを導入し,13～25%の高速化を実現した。安定のために、損失スパイクを解析し、二乗勾配が過小評価された後に連続して1～8回発生することを発見した。
論文参考訳（メタデータ） (2023-04-25T17:38:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。