論文の概要: Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation

• arxiv url: http://arxiv.org/abs/2608.07562v1
• Date: Sun, 02 Aug 2026 22:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.435997
• Title: Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation
• Title（参考訳）: 時間レベル洪水深度推定のための機械的解釈可能性に基づく視覚言語モデルの選択的微調整
• Abstract要約: 都市洪水は交通インフラにエスカレートする脅威をもたらすが、リアルタイムのストリートレベルの洪水深度推定をセントレゾリューションで提供する運用システムはない。 本稿では,街路画像から連続的な洪水深度推定のために微調整された3つの視覚言語モデルを提案する。 FloodLlama-Dense の MAE は 0.40 cm、RMSE は 1.97 cm、Acc@5 cm は 97.59% である。
• 参考スコア（独自算出の注目度）: 4.766239287853751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Urban flooding poses an escalating threat to transportation infrastructure, yet no operational system provides real-time, street-level flood-depth estimates at centimeter resolution. This paper presents three vision-language models fine-tuned for continuous flood-depth estimation from street-level imagery: FloodLlama-Dense, a fully fine-tuned QLoRA baseline, and FloodLlama-MI5 and FloodLlama-MI6, interpretability-guided sparse variants that fine-tune only the top five and six causally relevant cross-attention layers identified through mechanistic interpretability analysis, respectively. Training uses an approximately 610,000-image subset of a 2.81-million-image synthetic corpus generated in Unreal Engine 5. The dataset combines single-vehicle subsets with 5 cm depth increments and mixed-vehicle subsets with 1 cm depth increments, spanning seven vehicle types, four weather conditions, and flood depths from 0 to 40 cm. FloodLlama-Dense achieves an MAE of 0.40 cm, an RMSE of 1.97 cm, and an Acc@5cm of 97.59%. Mechanistic interpretability analysis combining linear probing, logit lens, centered kernel alignment (CKA), and cross-attention entropy reveals a two-stage adaptation pattern: layers L13-L22 restructure visual representations, while depth first becomes linearly decodable at layer L23. FloodLlama-MI5 and FloodLlama-MI6 leverage this insight by fine-tuning only five or six of the eight cross-attention layers, achieving an 86-88% reduction in trainable parameters (6.55-7.86 million versus 54.4 million) with minimal accuracy loss. On a real-world benchmark, FloodLlama-MI6 achieves 98.62% accuracy, compared with 86.61% for the published STURM-FloodDepth baseline.
• Abstract（参考訳）: 都市洪水は交通インフラにエスカレートする脅威をもたらすが、リアルタイムのストリートレベルの洪水深度推定をセントレゾリューションで提供する運用システムはない。 本稿では,道路画像から連続的な洪水深度推定のために微調整された3つの視覚言語モデルについて述べる。FloodLlama-Dense,完全微調整QLoRAベースライン,FloodLlama-MI5,FloodLlama-MI6。 訓練には、Unreal Engine 5で生成された2.81Mの合成コーパスの約610,000imageサブセットを使用する。 このデータセットは、単一車両のサブセットを5cmの深さ増分と1cmの深さ増分と混合車両のサブセットを組み合わせており、車両の種類は7種類、気象条件は4種類、洪水深度は0から40cmである。 FloodLlama-Dense の MAE は 0.40 cm、RMSE は 1.97 cm、Acc@5 cm は 97.59% である。 リニアプローブ、ロジットレンズ、中心核アライメント(CKA)、クロスアテンションエントロピーを組み合わせた機械論的解釈可能性解析により、2段階の適応パターンが明らかにされる。 FloodLlama-MI5とFloodLlama-MI6は8層のうち5層か6層だけを微調整し、86-88%のトレーニング可能なパラメータ(6.55-7.86万対54.4百万対6.55-7.86万)を最小限の精度で削減した。 実際のベンチマークでは、FloodLlama-MI6は98.62%の精度を達成しており、STURM-FloodDepthベースラインでは86.61%である。

関連論文リスト

• ScopeMamba-YOLO: Widening the Perceptual Scope Inward and Outward for Small Object Detection in Remote Sensing Imagery [2.3496832983179807]
  無人航空機(UAV)とリモートセンシング画像の小さな物体検出には、長距離のコンテキストをモデル化しながら高解像度の細部を保存する必要がある。 畳み込みストリームからコンテキストモデリングを分離するオフパス・ゼロゲート選択走査原理に基づいて構築されたScopeMamba-YOLOを提案する。 VisDrone 2019で、ScopeMamba-Sは3.57Mパラメータで50.8% mAP50を達成し、YOLOv8sを10.8pp越え、パラメータの32%を使用し、ScopeMamba-Mは6.48Mパラメータで52.6% mAP50に達する。
  論文  参考訳（メタデータ） (2026-09-09T13:32:46Z)
• Learning to Navigate Efficiently with Only 0.58M Trainable Parameters [12.68304107799412]
  既知の閉形式構造を持つ操作を解析的に計算し、3つの小さな学習モジュール間のインタフェースとして機能するナビゲーションモデルを提案する。 このシステムは、合計22.7Mパラメータのうちわずか0.58Mを1時間未満で44kフレームでトレーニングするが、ナビゲーションタスクの最先端モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2026-07-13T02:49:55Z)
• Scaling Closed-Loop Feature Channel Configuration with LLMs [48.83701310501069]
  この分析では,8サイクルから2000件の候補が生成され,タスクおよびメタデータフィルタリング後のCIFAR-100の評価結果が462件得られた。 最良のモデルは11.8Mパラメータで0.3676に達し、初期のハイパフォーマンスモデルは0.3144で166.5Mパラメータである。 検証された候補の41.8%で2つのチャネル幅の非パワーが発生し、最強のモデルではチャネル配置パターンが共有される。
  論文  参考訳（メタデータ） (2026-07-07T22:31:53Z)
• LLM-Powered Flood Depth Estimation from Social Media Imagery: A Vision-Language Model Framework with Mechanistic Interpretability for Transportation Resilience [0.0]
  FloodLlamaは、単一ストリートレベルの画像から連続的な洪水深度を推定するための微調整された視覚言語モデルである。 TikTokベースのデータパイプラインは、デトロイトの676の注釈付き洪水フレームで検証されており、リアルタイムのクラウドソースによる洪水検知の可能性を示している。
  論文  参考訳（メタデータ） (2026-03-17T19:59:25Z)
• Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement [0.0]
  視覚言語モデルは、それらのテキスト経路が表現できないような幾何学を符号化する。 ロラ微調整(r=16, 2,000枚)は、このギャップを6.5度に縮める。 これらの知見は、単一の凍結したバックボーンがマルチタスク幾何学的センサーとして機能することを可能にした。
  論文  参考訳（メタデータ） (2026-03-06T16:48:27Z)
• MUOT_3M: A 3 Million Frame Multimodal Underwater Benchmark and the MUTrack Tracking Method [49.121704780656366]
  水中物体追跡(UOT)は、効率的な海洋ロボティクス、大規模な生態モニタリング、海洋探査に不可欠である。 既存のベンチマークは小さく、RGBのみであり、厳密な色歪み、濁度、視界の低い条件下での堅牢性を制限する。 MUOT_3Mは,32のトラッキング属性,677のきめ細かいクラス,同期RGBを付加した3,030ビデオ(27.8h)の300万フレームからなる,最初の擬似マルチモーダル UOT ベンチマークである。 MUTrack, SAM-based multimodal to unimodal trackerを提案する。
  論文  参考訳（メタデータ） (2026-02-20T05:43:47Z)
• Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
  本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。 合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善 DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
  論文  参考訳（メタデータ） (2026-02-03T23:38:05Z)
• Automated river gauge plate reading using a hybrid object detection and generative AI framework in the Limpopo River Basin [0.0]
  本研究では, 視覚に基づく水線検出, YOLOv8 のポーズスケール抽出, 自動河川ゲージプレート読取のための大規模マルチモーダル言語モデルを組み合わせたハイブリッドフレームワークを提案する。 実験の結果、水線検出は94.24%、F1スコアは83.64%に達し、スケールギャップ検出は正確な幾何的校正を行い、その後に読み取ることができた。 その結果, 画像品質に対するLCMの感度が向上し, 劣化した画像は高い誤差を生じ, 幾何メタデータとマルチモーダル人工知能を組み合わせることの重要性が強調された。
  論文  参考訳（メタデータ） (2025-12-29T13:26:59Z)
• ReconMOST: Multi-Layer Sea Temperature Reconstruction with Observations-Guided Diffusion [48.540756751934836]
  ReconMOSTは多層水温再構築のためのデータ駆動誘導拡散モデルフレームワークである。 提案手法はMLベースのSST再構成をグローバルな多層設定に拡張し,92.5%以上の欠落データを処理する。
  論文  参考訳（メタデータ） (2025-06-12T06:27:22Z)
• Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models [111.97026994761254]
  Mixture-of-Transformer (MoT) はスパースマルチモーダルトランスアーキテクチャである。 MoTはモデルの非埋め込みパラメータをモダリティで分離する。 複数の設定とモデルスケールでMoTを評価する。
  論文  参考訳（メタデータ） (2024-11-07T18:59:06Z)
• Ultra-low Power Deep Learning-based Monocular Relative Localization Onboard Nano-quadrotors [64.68349896377629]
  この研究は、2つのピアナノドロンのディープニューラルネットワーク(DNN)を介して、単分子の相対的な局所化に対処する、新しい自律的なエンドツーエンドシステムを示す。 超制約ナノドローンプラットフォームに対処するため,データセットの増大,量子化,システム最適化などを含む垂直統合フレームワークを提案する。 実験の結果,DNNは低分解能モノクローム画像のみを用いて最大2mの距離で10cmのターゲットナノドローンを正確に局在させることができることがわかった。
  論文  参考訳（メタデータ） (2023-03-03T14:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。