論文の概要: TriCLE: Tri-Modal Vision-Language Reasoning for Edge-Deployed Fine-Grained Clustering
- arxiv url: http://arxiv.org/abs/2608.04175v1
- Date: Tue, 04 Aug 2026 19:34:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.603781
- Title: TriCLE: Tri-Modal Vision-Language Reasoning for Edge-Deployed Fine-Grained Clustering
- Title(参考訳): TriCLE: エッジ展開細粒度クラスタリングのための3モードビジョンランゲージ推論
- Abstract要約: 本稿では,航空機の分類群分類のためのアプリケーション指向の3モーダル視覚言語システムTriCLEについて述べる。
単一のRGB航空機画像から、TriCLEは構造保存型FLIRスタイルの熱ビューと擬似LiDAR深度投影を生成する。
制御された微調整, 回転保存SFT, および政策調整戦略であるGRPO, GSPO, DAPOを評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Edge platforms used for aerial observation must interpret aircraft imagery under limited memory, limited compute, and intermittent connectivity. This setting is difficult for standard RGB-only recognition models and general-purpose vision-language models, especially when calibrated thermal and LiDAR aircraft data are unavailable. We present TriCLE, an application-oriented tri-modal vision-language system for aircraft taxonomic grouping under edge constraints. From a single RGB aircraft image, TriCLE generates a structure-preserving FLIR-style thermal view and a pseudo-LiDAR depth projection, then fuses the aligned views with task instructions in a compact Qwen3-VL backbone. The model is aligned to an expert aircraft taxonomy based on propulsion, airframe family, size, design era, and configuration, so its outputs reflect engineering-relevant similarity rather than only surface appearance. We evaluate supervised fine-tuning, rotation-preserving SFT, and three policy-alignment strategies: GRPO, GSPO, and DAPO. Sequence-level GSPO gives the strongest validation performance, reaching 88.33\% validation accuracy and 0.91 weighted F1 on valid aircraft outputs. On a held-out aircraft test partition, GSPO achieves 78.00\% accuracy and 0.793 weighted F1 while preserving 94.00\% parseable output formatting. After 4-bit quantization and attention-memory optimization, the aligned 4B model fits an 8GB deployment target and processes each tri-modal triplet in 1.48 seconds. These results support TriCLE as a practical prototype for interpretable, edge-feasible aircraft grouping, while emphasizing the need for further validation on real aligned thermal and LiDAR sensor streams.
- Abstract(参考訳): 航空観測に使用されるエッジプラットフォームは、限られたメモリ、限られた計算、断続的な接続の下で航空機の画像を解釈しなければならない。
この設定は、標準的なRGBのみの認識モデルや汎用視覚言語モデル、特にキャリブレーションされた熱とLiDARの航空機データが利用できない場合、難しい。
本稿では,航空機の分類群分類のためのアプリケーション指向の3モーダル視覚言語システムTriCLEについて述べる。
単一のRGB航空機画像から、TriCLEは構造保存型FLIRスタイルの熱ビューと擬似LiDAR深度投影を生成し、その後、コンパクトなQwen3-VLバックボーンでタスク命令と整列ビューを融合する。
このモデルは、推進、機体ファミリー、サイズ、設計年代、構成に基づく専門的な航空機分類と整合しているため、出力は表面的な外観だけでなく、工学的な類似性を反映している。
制御された微調整, 回転保存SFT, および政策調整戦略であるGRPO, GSPO, DAPOを評価した。
シークエンスレベルのGSPOは、有効航空機出力に対して88.33\%の検証精度と0.91の重み付きF1に達する、最強の検証性能を与える。
保持された航空機のテストパーティションでは、GSPOは78.00\%の精度と0.793の重み付きF1を達成し、94.00\%のパース可能な出力フォーマットを保持する。
4ビット量子化とアテンションメモリ最適化の後、アライメントされた4Bモデルは8GBのデプロイメントターゲットに適合し、各トリモーダル三重項を1.48秒で処理する。
これらの結果は、TriCLEを解釈可能でエッジ対応の航空機グループのための実用的なプロトタイプとしてサポートし、実際の熱とLiDARセンサーストリームのさらなる検証の必要性を強調した。
関連論文リスト
- Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation [68.02899606570223]
本稿では,効率的なエンボディナビゲーションのための統合フレームワークであるTAMP-Navを提案する。
まず、ナビゲーションを2次元の視覚座標に再構成するPixel-to-3D Action Formulation(Point)を導入する。
次に,Selective Reasoning and Anchor-Trajectory Memory Mechanism (Think and Memorize)を提案する。
論文 参考訳(メタデータ) (2026-08-18T08:37:08Z) - Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems [31.912092294245834]
大規模言語モデル(CoDyControlBench)のための複雑ダイナミクス・コントロルベンチマークを導入する。
システム構成は、DoFの数、システムタイプ、結合レベル、減衰状態、コントローラタイプという5つの評価次元にまたがる132のシステム構成で構成されている。
GPTは94.8%、Qwenは50.0%だった。
論文 参考訳(メタデータ) (2026-08-07T09:19:31Z) - Low-Altitude Channel Multipath Prediction via Panoramic Perception and Vision-Language Model [33.916311823620596]
無人航空機(UAV)通信は6Gモバイルネットワークにおける幅広い低高度アプリケーションをサポートすることが期待されている。
既存のマルチモーダルチャネル予測手法は主にパス損失などの大規模メトリクスに焦点を当てている。
本稿では,パノラマ認識と視覚言語モデルに基づく低高度マルチパス予測フレームワークであるPanoLAMPを提案する。
論文 参考訳(メタデータ) (2026-07-24T03:59:32Z) - LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。
しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。
本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
論文 参考訳(メタデータ) (2026-06-26T09:11:59Z) - Weather-Robust Cross-View Geo-Localization via Prototype-Based Semantic Part Discovery [6.276425555068115]
クロスビュージオローカライゼーション(CVGL)は、信号が妨害されたり、スプーフされたり、利用できない場合、自律ドローンナビゲーションのキーとなる代替手段として登場した。
パッチグリッド上の明示的な部分グループ化を実現する,パッチベースの視覚変換器(ViT)用の軽量スワップ可能なヘッドであるSkyPartを提案する。
26.95Mパラメータと22.14 GFLOPでは、SkyPartは最もパフォーマンスの高い手法の中で最小である。
論文 参考訳(メタデータ) (2026-05-12T07:15:52Z) - Harnessing Lightweight Transformer with Contextual Synergic Enhancement for Efficient 3D Medical Image Segmentation [59.711744386226194]
モデル効率を実現するための軽量トランスであるLight-UNETRを提案する。
Light-UNETRは軽量次元減少(LIDR)モジュールを備えており、空間次元とチャネル次元を減少させる。
また,変換器のデータ効率向上を目的としたCSE学習戦略も導入した。
論文 参考訳(メタデータ) (2026-03-24T16:24:19Z) - Depth Completion as Parameter-Efficient Test-Time Adaptation [66.72360181325877]
CAPAはパラメータ効率のよいテスト時間最適化フレームワークであり、深度補完のために事前訓練された3D基礎モデル(FM)を適用する。
ビデオの場合、CAPAはシーケンスレベルのパラメータ共有を導入し、時間的相関を利用して、堅牢性を改善し、複数フレームの一貫性を強制するために、すべてのフレームを共同で適用する。
論文 参考訳(メタデータ) (2026-02-16T13:53:23Z) - LPCAN: Lightweight Pyramid Cross-Attention Network for Rail Surface Defect Detection Using RGB-D Data [0.0]
本稿では,現在のビジョンに基づくレール欠陥検出手法の限界に対処する。
本稿では,RGB-Dデータを利用した軽量ピラミッドクロスアテンションネットワーク(LPCANet)を提案する。
LPCANetは990万のパラメータ、2.50GのFLOP、162.60fpsの推論速度で最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-01-14T03:35:09Z) - Aerial Vision-Language Navigation with a Unified Framework for Spatial, Temporal and Embodied Reasoning [5.517595398768408]
本稿では,エゴ単分子RGB観測と自然言語命令のみで動作する航空VLNフレームワークを提案する。
このタスクは、低高度検査、サーチ・アンド・レスキュー、自律型空中輸送といった現実世界のアプリケーションに対して約束される。
論文 参考訳(メタデータ) (2025-12-09T14:25:24Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳(メタデータ) (2025-10-14T17:59:54Z) - Zero-shot Inexact CAD Model Alignment from a Single Image [53.37898107159792]
1つの画像から3Dシーン構造を推測する実践的なアプローチは、データベースから密に一致する3Dモデルを検索し、画像内のオブジェクトと整列させることである。
既存のメソッドは、イメージによる教師付きトレーニングとアノテーションのポーズに依存しており、オブジェクトカテゴリの狭いセットに制限されている。
ポーズアノテーションを必要とせず、未知のカテゴリに一般化する不正確な3次元モデルの弱い教師付き9-DoFアライメント法を提案する。
論文 参考訳(メタデータ) (2025-07-04T04:46:59Z) - DUT-LFSaliency: Versatile Dataset and Light Field-to-RGB Saliency
Detection [104.50425501764806]
ライトフィールドサリエンシー検出のための汎用性の高いアプリケーションを可能にする大規模なデータセットを紹介します。
本論文では,フォカルストリームとRGBストリームからなる非対称2ストリームモデルを提案する。
実験は、我々の焦点ストリームが最先端のパフォーマンスを達成することを実証する。
論文 参考訳(メタデータ) (2020-12-30T11:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。