論文の概要: Differential Multimodal Transformers

• arxiv url: http://arxiv.org/abs/2507.15875v1
• Date: Thu, 17 Jul 2025 09:05:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.777619
• Title: Differential Multimodal Transformers
• Title（参考訳）: 微分多重モード変換器
• Authors: Jerry Li, Timothy Oh, Joseph Hoang, Vardhit Veeramachaneni,
• Abstract要約: 我々は、もともとテキストのみのモデル用に設計された差分注意機構を、テキストビジョンモデルであるPaliGemmaに拡張する。 本研究の目的は,ノイズ情報検索を緩和し,幻覚を減らす能力を評価することである。
• 参考スコア（独自算出の注目度）: 6.968670508903927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small language models have gained significant popularity due to their efficiency and growing capabilities. However, incorporating additional modalities, such as vision, can exacerbate the challenge of limited context windows by introducing noise. Recent studies have highlighted that Transformer attention mechanisms often disproportionately focus on irrelevant contexts. In this work, we extend the Differential Attention mechanism, originally designed for text-only models, to the text-vision model PaliGemma. Our aim is to evaluate its ability to mitigate noisy information retrieval and reduce hallucinations. To this end, we fine-tuned the PaliGemma 3B model using LoRA, incorporating Differential Attention, and experimented with various parameter settings and configurations. We demonstrate that Differential Attention can be adapted and integrated into the fine-tuning of existing models to enhance noisy information retrieval and question-answering capabilities.
• Abstract（参考訳）: 小さな言語モデルは、その効率性と能力の増大によって大きな人気を集めている。 しかし、視覚などの追加のモダリティを取り入れることで、ノイズを導入することで、限られたコンテキストウィンドウの課題が悪化する可能性がある。 近年の研究では、トランスフォーマーの注意機構が無関係な文脈に不均等に焦点を合わせていることが強調されている。 本研究では、もともとテキストのみのモデル用に設計された差分注意機構を、テキストビジョンモデルであるPaliGemmaに拡張する。 本研究の目的は,ノイズ情報検索を緩和し,幻覚を減らす能力を評価することである。 この目的のために、私たちはLoRAを用いてPaliGemma 3Bモデルを微調整し、差分注意を取り入れ、様々なパラメータ設定と設定を実験した。 本研究では,ノイズの多い情報検索と質問応答能力を向上させるため,既存モデルの微調整に差分注意を適応し,統合できることを実証する。

関連論文リスト

• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System [9.764336669208394]
  GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。 しかし、「モデルが非現実的または誤解を招くコンテンツを生成する場所」という幻覚は、特に小規模アーキテクチャでは問題となる。 本稿では,単一のQwen 1.5 0.5Bモデルにおいて,推論性能を高め,幻覚を緩和する仮想ミックス・オブ・エクササイズ(MoE)融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-01T11:38:01Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Towards Better Text-to-Image Generation Alignment via Attention Modulation [16.020834525343997]
  本研究では,拡散モデルに対する注意の変調による学習自由な位相ワイズ機構である属性焦点機構を提案する。 クロスアテンションモジュールには、オブジェクト指向マスキングスキームと位相ワイドダイナミックウェイトコントロール機構が組み込まれている。 様々なアライメントシナリオにおける実験結果から,我々のモデルは最小の計算コストでより優れた画像テキストアライメントを実現することができた。
  論文  参考訳（メタデータ） (2024-04-22T06:18:37Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
  言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。 入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。 複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-15T02:59:10Z)
• Controllable Topic-Focused Abstractive Summarization [57.8015120583044]
  制御された抽象的な要約は、特定の側面をカバーするために、ソース記事の凝縮したバージョンを作成することに焦点を当てる。 本稿では,トピックに着目した要約を生成可能なトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-12T03:51:38Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Decoupling the Role of Data, Attention, and Losses in Multimodal Transformers [20.343814813409537]
  学習表現の質に影響を与える重要な要因として,事前学習データ,注意機構,損失関数の3つについて検討する。 6つのデータセット上でモデルを事前学習することにより、下流タスクとデータセットのノイズと言語類似性が、モデルパフォーマンスの重要な指標であることを観察する。 自己教師型学習文献では,マルチモーダル変圧器でも同様の性能向上が得られない。
  論文  参考訳（メタデータ） (2021-01-31T20:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。