論文の概要: Clean Evaluations on Contaminated Visual Language Models
- arxiv url: http://arxiv.org/abs/2410.07030v1
- Date: Wed, 9 Oct 2024 16:13:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 22:57:18.172115
- Title: Clean Evaluations on Contaminated Visual Language Models
- Title（参考訳）: 汚染された視覚言語モデルのクリーンな評価
- Authors: Hongyuan Lu, Shujie Miao, Wai Lam,
- Abstract要約: 視覚言語モデル(VLM)をきれいに評価する方法は、未研究の問題である。
本稿では,視覚的入力情報に対するデータ拡張手法により,そのような目標を達成するための新しい手法を提案する。
コード、データ、モデルの重み付けは、公開時にリリースされます。
- 参考スコア（独自算出の注目度）: 46.01250813909264
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How to evaluate large language models (LLMs) cleanly has been established as an important research era to genuinely report the performance of possibly contaminated LLMs. Yet, how to cleanly evaluate the visual language models (VLMs) is an under-studied problem. We propose a novel approach to achieve such goals through data augmentation methods on the visual input information. We then craft a new visual clean evaluation benchmark with thousands of data instances. Through extensive experiments, we found that the traditional visual data augmentation methods are useful, but they are at risk of being used as a part of the training data as a workaround. We further propose using BGR augmentation to switch the colour channel of the visual information. We found that it is a simple yet effective method for reducing the effect of data contamination and fortunately, it is also harmful to be used as a data augmentation method during training. It means that it is hard to integrate such data augmentation into training by malicious trainers and it could be a promising technique to cleanly evaluate visual LLMs. Our code, data, and model weights will be released upon publication.
- Abstract（参考訳）: 大型言語モデル(LLM)をクリーンに評価する方法は、汚染される可能性のあるLLMの性能を真に報告する重要な研究時代として確立されている。
しかし、視覚言語モデル(VLM)をきれいに評価する方法は、未研究の課題である。
本稿では,視覚的入力情報に対するデータ拡張手法により,そのような目標を達成するための新しい手法を提案する。
次に、何千ものデータインスタンスで視覚的クリーンな評価ベンチマークを作成します。
広範にわたる実験により、従来の視覚データ拡張手法は有用であるが、トレーニングデータの一部としての使用が回避策として危険にさらされていることがわかった。
さらに、視覚情報の色チャネルを切り替えるために、BGR拡張を用いることを提案する。
また,データ汚染の影響を低減させる簡便かつ効果的な方法であり,幸いなことに,トレーニング中のデータ拡張手法としての利用も有害であることがわかった。
悪質なトレーナーによるトレーニングにこのようなデータ拡張を統合することは困難であり、視覚的LLMをきれいに評価する上で有望な手法である可能性がある。
コード、データ、モデルの重み付けは、公開時にリリースされます。
関連論文リスト
- Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods [1.9799527196428242]
大規模言語モデルアンラーニングは、LLMが悪意ある目的のために使用するのを防ぐために学んだ有害な情報を除去することを目的としている。
LMUとRMUは、LLMアンラーニングの2つの方法として提案され、アンラーニングベンチマークで印象的な結果を得た。
論文 参考訳（メタデータ） (2024-11-18T22:31:17Z) - When Does Visual Prompting Outperform Linear Probing for Vision-Language Models? A Likelihood Perspective [57.05315507519704]
本稿では,視覚的プロンプトと線形探索の利点を比較分析するために,ログ類似率(LLR)アプローチを提案する。
本測定は,最大で100倍の時間短縮が可能であり,予測精度は最大91%に達する。
論文 参考訳（メタデータ） (2024-09-03T12:03:45Z) - Measuring Sample Importance in Data Pruning for Training LLMs from a Data Compression Perspective [4.079147243688765]
我々は,大規模言語モデルのデータ効率訓練手法としてデータプルーニングを考える。
トレーニングされたモデルのログ類似度関数を代理として利用し,サンプルの情報量を測定する。
論文 参考訳（メタデータ） (2024-06-20T09:09:34Z) - Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。
約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
論文 参考訳（メタデータ） (2024-03-14T16:47:25Z) - Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。
我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。
セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-04T04:42:05Z) - Mendata: A Framework to Purify Manipulated Training Data [12.406255198638064]
我々は、操作したトレーニングデータを浄化するフレームワークであるMendataを提案する。
Mendataはトレーニングインプットを乱してユーティリティを保持するが、参照データと同様に分散される。
我々は、最先端のデータ中毒やデータ追跡技術にMendataを適用して、その効果を実証する。
論文 参考訳（メタデータ） (2023-12-03T04:40:08Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z) - Data Contamination Through the Lens of Time [21.933771085956426]
大規模言語モデル(LLM)は一般に利用可能なベンチマークを評価することでしばしばサポートされる。
このプラクティスは、データ汚染の懸念、すなわち、トレーニングデータに明示的にまたは暗黙的に含まれている例を評価することを提起する。
GPTモデルにおけるトレーニングカットオフの自然実験を用いて, LLMにおけるデータ汚染の経時的解析を行った。
論文 参考訳（メタデータ） (2023-10-16T17:51:29Z) - DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。
このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。
LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文 参考訳（メタデータ） (2023-10-02T17:52:24Z) - GridMask Data Augmentation [76.79300104795966]
本稿では,新しいデータ拡張手法であるGridMaskを提案する。
情報除去を利用して、様々なコンピュータビジョンタスクで最先端の結果を達成する。
論文 参考訳（メタデータ） (2020-01-13T07:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。