論文の概要: Near-Duplicate Image Selection Transfers Preferences in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.27943v2
- Date: Sun, 25 Oct 2026 10:38:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.122122
- Title: Near-Duplicate Image Selection Transfers Preferences in Vision-Language Models
- Title(参考訳): 視覚言語モデルにおける近距離画像選択の選好
- Abstract要約: 対象選好キュレーターの選好を訓練した学生は、イメージフリーの可能性の読み出しにおいて、より強いターゲット選好を推奨した。
我々は,LLaVA-1.5,Qwen2.5-VL,Qwen3-VLにおけるオオカミの嗜好伝達を,同じベースチェックポイントからキュレーターや学生とともに観察した。
学生はフクロウの選好をLLaVA-1.5とQwen3-VLの第2世代に明示的に言及していないキャプションを通して渡す。
- 参考スコア(独自算出の注目度): 14.910031187800563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Subliminal learning is the phenomenon in which a model transmits its preferences to another model through data that do not explicitly express them. As models increasingly curate training data for other models, we ask whether this transfer can arise from choosing among near-duplicate images while keeping the source photographs and human-written captions fixed. We show that this restricted form of image selection is sufficient. For each photograph, a curator selects one of eight near-duplicate variants by caption likelihood, without target-specific prompts. Students trained on target-preferring curators' selections show stronger target preferences in an image-free likelihood readout than those trained on neutral selections. We observe owl preference transfer in LLaVA-1.5, Qwen2.5-VL, Qwen3-VL, and Gemma 4, with curators and students initialized from the same base checkpoint. The owl transfer results repeat across independently trained curator ensembles and student seeds on a shared image bank, exceed count-matched random reselections, and replicate on a new source bank with new curators in Qwen3-VL. Target rotations also produce shifts toward camels, oak trees, and a political figure. Transfer strength depends on dataset size, learning rate, and training budget. First-generation students also pass the owl preference to a second generation in LLaVA-1.5 and Qwen3-VL through captions that do not explicitly mention owls. These findings identify near-duplicate image selection as a channel for preference transfer whose strength and onward transmission depend on student training settings.
- Abstract(参考訳): サブリミナルラーニング(サブリミナルラーニング)とは、モデルが明示的に表現しないデータを通じて、その好みを他のモデルに伝達する現象である。
モデルが他のモデルのトレーニングデータをキュレートするにつれて、ソース写真や人書きキャプションの固定を保ちながら、ほぼ重複した画像の中から選択することで、移行が発生するかどうかを問う。
この制限された画像選択は十分であることを示す。
各写真について、キュレーターは、ターゲット固有のプロンプトなしで、キャプションにより8つの近距離変種のうちの1つを選択する。
対象選好キュレーターの選択で訓練された学生は、中立選好で訓練された生徒よりも画像のない可能性の読み出しにおいて、より強いターゲット選好を示す。
我々は,LLaVA-1.5,Qwen2.5-VL,Qwen3-VL,Gemma 4におけるフクロウの嗜好の伝達を観察した。
フクロウの移動結果は、共有画像バンク上で、独立に訓練されたキュレーターアンサンブルと学生種を渡り、カウントマッチングされたランダムな再選択を超え、Qwen3-VLの新しいキュレーターを持つ新しいソースバンクで複製する。
ターゲットローテーションはまた、ラクダ、オークの木、政治的人物へのシフトを生み出している。
転送強度はデータセットのサイズ、学習率、トレーニング予算に依存する。
第1世代の学生は、フクロウに明示的に言及していないキャプションを通して、LLaVA-1.5およびQwen3-VLの第2世代にフクロウの嗜好を伝えています。
これらの結果から, 学生の学習環境に依存した選好伝達のチャネルとして, ほぼ重複した画像選択を見いだすことができた。
関連論文リスト
- MJev-Spatial: System One Spatial Intelligence via Native Attention Matching [19.6013702995563]
MJev-Spatialは3種類の空間理解タスクに対処するシステム1のマルチモーダル決定モデルである。
MJev-Spatialは各候補をクラスとして扱い、バックボーンの事前訓練されたクエリとキープロジェクションを使用してスコア付けする。
Qwen3.5-4Bをベースとして12.3Mの質問応答ペアで訓練され、MJev-Spatialは7つのテストされた自己回帰モデルで最高スコア(65.64%)を記録した。
論文 参考訳(メタデータ) (2026-10-15T17:37:50Z) - Kernel-Based Steering of CLIP with Vision-Language Model Preferences [23.632553253302444]
大きな視覚言語モデル(VLM)は視覚的類似性を判断できるが、その判断は効率的な比較のためにコンパクトな画像埋め込みとして直接利用することはできない。
本稿では,教師の埋め込みを使わずにペアの判断から学習するカーネルベースのステアリング手法であるASKを紹介する。
適応後、検索はVLMコールなしでCLIPイメージの埋め込みとコサイン類似性を使用する。
論文 参考訳(メタデータ) (2026-09-26T03:58:27Z) - Picking the Right Image to Classify: Reliable-Input Selection in Teledermatology [37.91382919873667]
同じケースの複数の画像が存在する場合、精度を向上させる自然な方法は、モデルが正しく分類する可能性が高い画像を選択することである。
存在時に正しく分類された画像を選択するオラクルは、6つの皮膚科学データセットと9つの凍結した背骨の平均20パーセントの重み付きF1を上昇させる。
筆者らは, 埋め込み規範, 画像間の近傍のコンセンサス, 摂動下での予測の安定性, モデルの自信の4つのトレーニングデータフリーセレクタをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T07:28:26Z) - Once-For-All: A Train-Once and Select-Anytime Framework for Multimodal Instruction Tuning [5.733450405369182]
我々は、再利用可能なセレクタを一度トレーニングし、再計算なしで任意のデータセットやモデルに適用するデータ選択フレームワークOFAを提案する。
OFAは凍ったCLIP空間でマルチモーダル命令をクラスタ化し、クラスタ構造から擬似ラベルを導き、ほんの数回だけ軽量セレクタを訓練する。
トレーニングが完了すると、凍結セレクタはデータセットとモデルスケールを直接転送する。
論文 参考訳(メタデータ) (2026-05-26T09:31:20Z) - AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。
このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。
複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
論文 参考訳(メタデータ) (2026-05-20T03:06:36Z) - Probing Visual Language Priors in VLMs [51.016683265437536]
我々は,意図的に分布外画像を特徴付けるベンチマークであるViLPを紹介した。
ViLPの各質問には、3つの潜在的な答えと3つの対応するイメージが結合される。
本稿では,モデルが新たなVQAデータを生成し,ピクセルレベルおよびセマンティックな汚職を適用して,自己学習のための「良いバッド」画像ペアを生成する自己改善フレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-31T17:54:29Z) - DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。
このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。
LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文 参考訳(メタデータ) (2023-10-02T17:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。