論文の概要: Deep Learning with Pretrained 'Internal World' Layers: A Gemma 3-Based Modular Architecture for Wildfire Prediction

• arxiv url: http://arxiv.org/abs/2504.18562v1
• Date: Sun, 20 Apr 2025 18:02:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.872468
• Title: Deep Learning with Pretrained 'Internal World' Layers: A Gemma 3-Based Modular Architecture for Wildfire Prediction
• Title（参考訳）: 事前学習した'内部世界'層によるディープラーニング: ガンマ3ベースの山火事予測用モジュールアーキテクチャ
• Authors: Ayoub Jadouli, Chaker El Amrani,
• Abstract要約: この作業は、Gemma 3上に構築されたモジュラーアーキテクチャを導入することで、内部世界を山火事発生予測に活用する。 これらのGemma 3サブレイヤは、トレーニング済みの表現力を保ちながら、より小さな入出力ネットワークのみをトレーニングします。 モロッコの山火事データセットの評価では、標準フィードフォワードや畳み込みベースラインと比較して予測精度と堅牢性が改善された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models, especially large Transformers, carry substantial "memory" in their intermediate layers -- an \emph{internal world} that encodes a wealth of relational and contextual knowledge. This work harnesses that internal world for wildfire occurrence prediction by introducing a modular architecture built upon Gemma 3, a state-of-the-art multimodal model. Rather than relying on Gemma 3's original embedding and positional encoding stacks, we develop a custom feed-forward module that transforms tabular wildfire features into the hidden dimension required by Gemma 3's mid-layer Transformer blocks. We freeze these Gemma 3 sub-layers -- thus preserving their pretrained representation power -- while training only the smaller input and output networks. This approach minimizes the number of trainable parameters and reduces the risk of overfitting on limited wildfire data, yet retains the benefits of Gemma 3's broad knowledge. Evaluations on a Moroccan wildfire dataset demonstrate improved predictive accuracy and robustness compared to standard feed-forward and convolutional baselines. Ablation studies confirm that the frozen Transformer layers consistently contribute to better representations, underscoring the feasibility of reusing large-model mid-layers as a learned internal world. Our findings suggest that strategic modular reuse of pretrained Transformers can enable more data-efficient and interpretable solutions for critical environmental applications such as wildfire risk management.
• Abstract（参考訳）: ディープラーニングモデル、特に大きなトランスフォーマーは、その中間層 – 豊富なリレーショナルとコンテキスト知識をエンコードする‘emph{internal world’ – に、相当量の“メモリ”を格納する。 この研究は、最先端のマルチモーダルモデルであるGemma 3上に構築されたモジュラーアーキテクチャを導入することで、山火事発生予測のための内部世界を活用する。 Gemma 3のオリジナルの埋め込みと位置エンコーディングスタックに頼るのではなく、Gemma 3の中間層トランスフォーマーブロックが必要とする隠れ次元にタブ状の山火事機能を変換するカスタムフィードフォワードモジュールを開発した。 これらのGemma 3サブレイヤは、トレーニング済みの表現力を保ちながら、より小さな入出力ネットワークのみをトレーニングします。 このアプローチは、トレーニング可能なパラメータの数を最小化し、限られた山火事データに過度に適合するリスクを低減するが、Gemma 3の幅広い知識の利点は維持する。 モロッコの山火事データセットの評価では、標準フィードフォワードや畳み込みベースラインと比較して予測精度と堅牢性が改善された。 アブレーション研究は、冷凍トランスフォーマー層がより優れた表現に一貫して寄与していることを確認し、学習された内部世界として大きなモデル中間層を再利用する可能性を強調している。 以上の結果から,事前学習型トランスフォーマーの戦略的モジュール再利用により,山火事リスク管理などの重要な環境アプリケーションに対して,よりデータ効率が高く,解釈可能なソリューションが実現できることが示唆された。

関連論文リスト

• SMILENet: Unleashing Extra-Large Capacity Image Steganography via a Synergistic Mosaic InvertibLE Hiding Network [71.11351750072936]
  本稿では,3つの重要なイノベーションを通じて25個の画像隠蔽を実現する新しい相乗的枠組みを提案する。 ネットワークアーキテクチャは、可逆操作と非可逆操作をコーディネートし、シークレット画像とカバー画像の両方における情報冗長性を効率的に活用する。 相補的なモジュールをコーディネートして、視覚的品質の優れた既存のメソッドよりも3.0倍高いキャパシティを実現する統一的なトレーニング戦略。
  論文  参考訳（メタデータ） (2025-03-07T03:31:47Z)
• Trustformer: A Trusted Federated Transformer [0.24578723416255746]
  トランスフォーマーモデルは、大きな言語モデル(LLM)の台頭を促している。 フェデレートラーニング(FL)のようなプライバシ保護技術は潜在的な解決策を提供するが、実用的な制限はトランスフォーマートレーニングの有効性を妨げている。 本稿では,競争力を維持しつつ通信オーバヘッドを低減する新しいFL法を提案する。
  論文  参考訳（メタデータ） (2025-01-20T19:38:50Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• TransURL: Improving malicious URL detection with multi-layer Transformer encoding and multi-scale pyramid features [9.873643699502853]
  本稿では,悪意のあるURL検出のための新しい手法であるTransURLを提案する。 この方法は、3つの特徴モジュールで文字認識変換器を協調訓練することで実現される。 実験の結果, 従来の方法と比較して有意な改善が認められた。
  論文  参考訳（メタデータ） (2023-12-01T11:27:00Z)
• PMANet: Malicious URL detection via post-trained language model guided multi-level feature attention network [16.73322002436809]
  PMANetは,事前学習型言語モデル誘導型マルチレベル特徴注意ネットワークである。 PMANetは、マスク付き言語モデリング、ノイズの多い言語モデリング、ドメイン識別という、3つの自己組織化された目標を持つポストトレーニングプロセスを採用している。 小規模データ、クラス不均衡、敵攻撃を含む様々なシナリオの実験は、PMANetが最先端モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-21T06:23:08Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Online-updated High-order Collaborative Networks for Single Image Deraining [51.22694467126883]
  単一画像のデライン化は、ビデオ監視や自動運転システムなど、下流の人工知能アプリケーションにとって重要なタスクである。 マルチスケールのコンパクトな制約と双方向のスケール・コンテント類似性マイニングモジュールを備えた高階協調ネットワークを提案する。 提案手法は,5つの公開合成と1つの実世界のデータセットに対して,11の最先端手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-02-14T09:09:08Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。