論文の概要: DWIM: Towards Tool-aware Visual Reasoning via Discrepancy-aware Workflow Generation & Instruct-Masking Tuning

• arxiv url: http://arxiv.org/abs/2503.19263v1
• Date: Tue, 25 Mar 2025 01:57:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:55:39.730949
• Title: DWIM: Towards Tool-aware Visual Reasoning via Discrepancy-aware Workflow Generation & Instruct-Masking Tuning
• Title（参考訳）: DWIM: 離散性を考慮したワークフロー生成とインストラクション・マスキング・チューニングによるツール認識型ビジュアル推論を目指して
• Authors: Fucai Ke, Vijay Kumar B G, Xingjian Leng, Zhixi Cai, Zaid Khan, Weiqing Wang, Pari Delir Haghighi, Hamid Rezatofighi, Manmohan Chandraker,
• Abstract要約: 構成的視覚的推論アプローチは、エンド・ツー・エンドのVR手法よりも効果的な戦略として期待されている。 DWIM: ツールの使用状況を評価し, より訓練に有効である抽出を行う, 離散性を考慮したトレーニング生成手法を提案する。 Instruct-Masking fine-tuning — モデルに効果的なアクションをクローンすることのみをガイドし、より実用的なソリューションの生成を可能にする。
• 参考スコア（独自算出の注目度）: 57.285435980459205
• License:
• Abstract: Visual reasoning (VR), which is crucial in many fields for enabling human-like visual understanding, remains highly challenging. Recently, compositional visual reasoning approaches, which leverage the reasoning abilities of large language models (LLMs) with integrated tools to solve problems, have shown promise as more effective strategies than end-to-end VR methods. However, these approaches face limitations, as frozen LLMs lack tool awareness in VR, leading to performance bottlenecks. While leveraging LLMs for reasoning is widely used in other domains, they are not directly applicable to VR due to limited training data, imperfect tools that introduce errors and reduce data collection efficiency in VR, and challenging in fine-tuning on noisy workflows. To address these challenges, we propose DWIM: i) Discrepancy-aware training Workflow generation, which assesses tool usage and extracts more viable workflows for training; and ii) Instruct-Masking fine-tuning, which guides the model to only clone effective actions, enabling the generation of more practical solutions. Our experiments demonstrate that DWIM achieves state-of-the-art performance across various VR tasks, exhibiting strong generalization on multiple widely-used datasets.
• Abstract（参考訳）: 視覚的推論(VR)は、人間のような視覚的理解を可能にするために多くの分野において不可欠であるが、依然として非常に困難である。 近年,大規模言語モデル(LLM)の推論能力と問題解決ツールを融合した構成的視覚的推論手法が,エンドツーエンドのVR手法よりも効果的な手法として期待されている。 しかし、これらのアプローチは、凍結したLLMにはVRにおけるツールの認識が欠如し、パフォーマンスのボトルネックにつながるため、制限に直面します。 推論にLLMを活用することは、他のドメインで広く使われているが、トレーニングデータに制限があるため、エラーを導入してVRのデータ収集効率を低下させる不完全なツール、ノイズの多いワークフローの微調整に挑戦するため、VRには直接適用されない。 これらの課題に対処するため、我々はDWIMを提案する。 一 ツールの使用を評価し、訓練のためのより実行可能なワークフローを抽出する分散学習ワークフロー生成 二 効果的な行動のクローン化のみを指導し、より実用的な解決策を創出すること。 実験により,DWIMは様々なVRタスクにまたがって最先端のパフォーマンスを達成し,複数の広く利用されているデータセットに対して強力な一般化を示すことが示された。

関連論文リスト

• Learning Free Token Reduction for Multi-Modal LLM [3.4026156483879517]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 しかし、それらの実践的な展開は、しばしば高い計算コストと長期の推論時間によって制約される。 本稿では,空間次元と時間次元の両方で動作するトークン圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-01-29T02:52:32Z)
• Visual RAG: Expanding MLLM visual knowledge without fine-tuning [5.341192792319891]
  本稿では、文脈から学習するMLLMの機能と検索機構を相乗的に組み合わせたVisual RAGを紹介する。 このようにして、得られたシステムは、トレーニングデータから抽出した知識に限らず、微調整なしで、迅速かつ容易に更新できる。 モデル画像分類性能を改善するための計算コストを大幅に削減し、トレーニングされていない新しい視覚領域やタスクにモデル知識を拡大する。
  論文  参考訳（メタデータ） (2025-01-18T17:43:05Z)
• Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。 これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。 本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
  論文  参考訳（メタデータ） (2024-11-30T07:21:02Z)
• HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
  効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。 これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。 本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。 また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• VIRL: Volume-Informed Representation Learning towards Few-shot Manufacturability Estimation [0.0]
  本研究は,3次元幾何エンコーダの事前学習のためのボリュームインフォームド表現学習手法であるVIRLを紹介する。 VIRLによって事前訓練されたモデルでは,データ制限による一般化性の向上が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-18T05:30:26Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• MoE-LLaVA: Mixture of Experts for Large Vision-Language Models [49.32669226551026]
  本稿では,LVLMのための簡易かつ効果的なトレーニング戦略であるMoE-Tuningを提案する。 MoE-LLaVAはMoEベースのスパースLVLMアーキテクチャであり、ルータを通じてトップkの専門家のみをユニークに活性化する。 様々な視覚的理解と物体幻覚のベンチマークにおいて,MoE-LLaVAの顕著な性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-01-29T08:13:40Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks [118.49566068398642]
  視覚言語(VL)タスクのためのクロスモーダルエンコーダは、しばしば注意深く計算された視覚言語データセットで事前訓練される。 一様エンコーダは、コスト抑制の少ない単純なアノテーションで事前訓練され、数十億から数十億のスケールを達成する。 我々は,事前学習したエンコーダから多モードVLエンコーダへの有用な知識を適応的に蒸留するマルチモーダル適応蒸留(MAD)を提案する。
  論文  参考訳（メタデータ） (2022-04-22T04:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。