論文の概要: Weak Scaling Capability in Token Space: An Observation from Large Vision Language Model

• arxiv url: http://arxiv.org/abs/2412.18387v1
• Date: Tue, 24 Dec 2024 12:20:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:11.881306
• Title: Weak Scaling Capability in Token Space: An Observation from Large Vision Language Model
• Title（参考訳）: トークン空間における弱みのスケーリング能力:大規模視覚言語モデルによる観察
• Authors: Tenghui Li, Guoxu Zhou, Xuyang Zhao, Qibin Zhao,
• Abstract要約: 本研究では,視覚トークン数と視覚言語モデルの性能の関係について検討する。 本稿では,ユーザ質問トークンを表現に組み込んだ上で,トークン数を効率的に削減する新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 27.59879939490807
• License:
• Abstract: The scaling capability has been widely validated with respect to the number of parameters and the size of training data. One important question that is unexplored is that does scaling capability also exists similarly with respect to the number of vision tokens? This study fills the gap by investigating the relationship between the number of vision tokens and the performance of vision-language models. Our theoretical analysis and empirical evaluations reveal that the model exhibits weak scaling capabilities on the length \(N_l\), with performance approximately \(S(N_l) \approx (c/N_l)^{\alpha}\), where \(c, \alpha\) are hyperparameters. Interestingly, this scaling behavior remains largely unaffected by the inclusion or exclusion of the user's question in the input. Furthermore, fusing the user's question with the vision token can enhance model performance when the question is relevant to the task. To address the computational challenges associated with large-scale vision tokens, we propose a novel architecture that efficiently reduces the token count while integrating user question tokens into the representation. Our findings may offer insights for developing more efficient and effective vision-language models under specific task constraints.
• Abstract（参考訳）: スケーリング能力は、パラメータの数とトレーニングデータのサイズに関して、広く検証されている。 探索されていない重要な疑問の1つは、視覚トークンの数に関して、スケーリング能力も同じように存在するか? 本研究は,視覚トークン数と視覚言語モデルの性能との関係を調査することによって,そのギャップを埋めるものである。 我々の理論解析と経験的評価により、モデルが(S(N_l) \approx (c/N_l)^{\alpha}\) と略される長さ \(N_l\) に弱いスケーリング能力を示すことが明らかとなった。 興味深いことに、このスケーリング動作は、入力にユーザの質問を含まないか排除するかによって、ほとんど影響を受けないままである。 さらに、ユーザの質問を視覚トークンと融合させることで、課題がタスクに関連する場合のモデル性能を向上させることができる。 大規模視覚トークンに関連する計算課題に対処するために,ユーザ質問トークンを表現に統合しながら,トークン数を効率的に削減する新しいアーキテクチャを提案する。 本研究は,タスク制約下でより効率的かつ効果的に視覚言語モデルを構築するための知見を提供する可能性がある。

関連論文リスト

• Causal-Inspired Multitask Learning for Video-Based Human Pose Estimation [18.826857684901118]
  本稿では2段階からなる因果時間モデリングフレームワークを提案する。 第1段階では、2つの自己超越補助タスクを導入することにより、因果時間モデリング能力を備えたモデルを提供する。 第2段階では、すべての特徴トークンが、ポーズ推定に等しく寄与するわけではないと論じる。 提案手法は3つの大規模ベンチマークデータセット上で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2025-01-24T09:45:16Z)
• Zero-Shot Embeddings Inform Learning and Forgetting with Vision-Language Encoders [6.7181844004432385]
  IMM(Inter-Intra Modal Measure)は、微調整によるパフォーマンス変化の強力な予測器として機能する。 IIMMスコアの高いタスクの微調整はドメイン内のパフォーマンス向上をもたらすが、ドメイン外のパフォーマンス低下も引き起こす。 ターゲットデータの1つのフォワードパスだけで、実践者は、この重要な洞察を利用して、モデルが微調整後の改善を期待できる程度を評価することができる。
  論文  参考訳（メタデータ） (2024-07-22T15:35:09Z)
• On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning [33.89483627891117]
  言語と視覚アシスタントの最近の進歩は印象的な能力を示しているが、透明性の欠如に悩まされている。 オープンソースモデルは、一般的なイメージタスクを効果的に処理するが、複雑な視覚的なテキスト理解の高度な計算要求に直面する。 本研究の目的は、キーコンポーネントを特定し、制約付き推論コストで効率的なモデルを作成することにより、視覚言語モデルの設計を再定義することである。
  論文  参考訳（メタデータ） (2024-06-17T17:57:30Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• Feature Importance Estimation with Self-Attention Networks [0.0]
  ブラックボックスニューラルネットワークモデルは、産業や科学で広く使われているが、理解と解釈が難しい。 近年,ニューラルネットワークモデルの内部動作に関する洞察を提供するアテンションメカニズムが導入されている。 本稿では、命題(タブラル)データから得られたモデルを説明する手段として、注目に基づくニューラルネットワーク機構を用いて特徴重要度を推定する。
  論文  参考訳（メタデータ） (2020-02-11T15:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。