論文の概要: Scaling Capability in Token Space: An Analysis of Large Vision Language Model

• arxiv url: http://arxiv.org/abs/2412.18387v2
• Date: Mon, 30 Dec 2024 11:00:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 12:42:38.346995
• Title: Scaling Capability in Token Space: An Analysis of Large Vision Language Model
• Title（参考訳）: トークン空間における拡張性:大規模視覚言語モデルの解析
• Authors: Tenghui Li, Guoxu Zhou, Xuyang Zhao, Qibin Zhao,
• Abstract要約: 視覚言語モデルにおける視覚トークン数と性能の関係について検討する。 また,ユーザの質問を視覚トークンと統合する融合機構の影響についても検討する。
• 参考スコア（独自算出の注目度）: 27.59879939490807
• License:
• Abstract: The scaling capability has been widely validated in neural language models with respect to the number of parameters and the size of training data. One important question is that does the scaling capability also exists similarly with respect to the number of vision tokens in large vision language Model? This study fills the gap by investigating the relationship between the number of vision tokens and the performance on vision-language models. Our theoretical analysis and empirical evaluations demonstrate that the model exhibits scalable performance \(S(N_l)\) with respect to the number of vision tokens \(N_l\), characterized by the relationship \(S(N_l) \approx (c/N_l)^{\alpha}\). Furthermore, we also investigate the impact of a fusion mechanism that integrates the user's question with vision tokens. The results reveal two key findings. First, the scaling capability remains intact with the incorporation of the fusion mechanism. Second, the fusion mechanism enhances model performance, particularly when the user's question is task-specific and relevant. The analysis, conducted on fifteen diverse benchmarks spanning a broad range of tasks and domains, validates the effectiveness of the proposed approach.
• Abstract（参考訳）: スケーリング能力は、パラメータの数とトレーニングデータのサイズに関して、ニューラルネットワークモデルで広く検証されている。 重要な疑問の1つは、大きな視覚言語モデルにおける視覚トークンの数に関して、スケーリング能力も同じように存在するかということです。 本研究は,視覚トークン数と視覚言語モデルの性能との関係を調査することによって,そのギャップを埋めるものである。 理論的解析と経験的評価により,このモデルでは, 視覚トークン数に関して, スケーラブルな性能(S(N_l)\)を示すことが示され, その関係は, 可視性(S(N_l) \approx (c/N_l)^{\alpha}\) によって特徴づけられる。 さらに,ユーザの質問を視覚トークンと統合する融合機構の影響についても検討する。 その結果、2つの重要な結果が得られた。 第一に、核融合機構が組み込まれてもスケーリング能力はそのままである。 第二に、融合メカニズムは、特にユーザの質問がタスク固有で関連性のある場合に、モデルの性能を高める。 この分析は、幅広いタスクや領域にまたがる15の多様なベンチマークで行われ、提案手法の有効性を検証する。

関連論文リスト

• Causal-Inspired Multitask Learning for Video-Based Human Pose Estimation [18.826857684901118]
  本稿では2段階からなる因果時間モデリングフレームワークを提案する。 第1段階では、2つの自己超越補助タスクを導入することにより、因果時間モデリング能力を備えたモデルを提供する。 第2段階では、すべての特徴トークンが、ポーズ推定に等しく寄与するわけではないと論じる。 提案手法は3つの大規模ベンチマークデータセット上で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2025-01-24T09:45:16Z)
• Zero-Shot Embeddings Inform Learning and Forgetting with Vision-Language Encoders [6.7181844004432385]
  IMM(Inter-Intra Modal Measure)は、微調整によるパフォーマンス変化の強力な予測器として機能する。 IIMMスコアの高いタスクの微調整はドメイン内のパフォーマンス向上をもたらすが、ドメイン外のパフォーマンス低下も引き起こす。 ターゲットデータの1つのフォワードパスだけで、実践者は、この重要な洞察を利用して、モデルが微調整後の改善を期待できる程度を評価することができる。
  論文  参考訳（メタデータ） (2024-07-22T15:35:09Z)
• On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning [33.89483627891117]
  言語と視覚アシスタントの最近の進歩は印象的な能力を示しているが、透明性の欠如に悩まされている。 オープンソースモデルは、一般的なイメージタスクを効果的に処理するが、複雑な視覚的なテキスト理解の高度な計算要求に直面する。 本研究の目的は、キーコンポーネントを特定し、制約付き推論コストで効率的なモデルを作成することにより、視覚言語モデルの設計を再定義することである。
  論文  参考訳（メタデータ） (2024-06-17T17:57:30Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• Feature Importance Estimation with Self-Attention Networks [0.0]
  ブラックボックスニューラルネットワークモデルは、産業や科学で広く使われているが、理解と解釈が難しい。 近年,ニューラルネットワークモデルの内部動作に関する洞察を提供するアテンションメカニズムが導入されている。 本稿では、命題(タブラル)データから得られたモデルを説明する手段として、注目に基づくニューラルネットワーク機構を用いて特徴重要度を推定する。
  論文  参考訳（メタデータ） (2020-02-11T15:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。