論文の概要: The Value of Being Wrong: Self-Mined Visual In-Context Learning from Errors

• arxiv url: http://arxiv.org/abs/2610.16977v1
• Date: Mon, 12 Oct 2026 15:38:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.398613
• Title: The Value of Being Wrong: Self-Mined Visual In-Context Learning from Errors
• Title（参考訳）: 誤りを犯す価値 - エラーから自己管理された視覚的インコンテキスト学習
• Abstract要約: ビジュアル・イン・コンテキスト・ラーニング(ICL)は、視覚言語モデルが実演例を通じてテスト時に適応できるようにする。 最近の反事実選択法は、個々の属性の変化が回答にどのように影響するかを明らかにするデモを構築することで、ICLを改善する。 そこで本研究では,モデル自体の予測誤差は自然対実的な実証である,という重要な観測を基礎とした,より単純な代替案を提案する。
• 参考スコア（独自算出の注目度）: 22.937350861727396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual in-context learning (ICL) enables vision-language models (VLMs) to adapt at test time via demonstration examples, but its effectiveness depends critically on the examples selected. Recent counterfactual selection methods improve ICL by constructing demonstrations that expose how individual attribute changes affect the answer. However, they require multi-stage pipelines involving attribute extraction, caption engineering, and composed image matching. We propose a simpler alternative grounded in a key observation: a model's own prediction errors are natural counterfactual demonstrations that directly encode its failure modes. Our method, SMILE (Self-Mined Visual In-Context Learning from Errors), builds a model-specific pool of hard negatives offline by recording the target VLM's own mistakes. At test time, the prediction serves as a direction signal that surfaces, in the semantic embedding space, the past mistakes most likely to recur for the current query. This prediction-conditioned identification provides a unified mechanism for both closed-set classification and open-ended visual question answering without task-specific design. Across four benchmarks and four VLMs, SMILE delivers an average task-score gain of +3.09 points over the SOTA baseline at 5x lower latency. Project page: https://tree-shu-zhao.github.io/SMILE/
• Abstract（参考訳）: ビジュアル・イン・コンテキスト・ラーニング(ICL)により、視覚言語モデル(VLM)は実演例を通してテスト時に適応できるが、その効果は選択された例に大きく依存する。 最近の反事実選択法は、個々の属性の変化が回答にどのように影響するかを明らかにするデモを構築することで、ICLを改善する。 しかし、属性抽出、キャプションエンジニアリング、合成画像マッチングを含む多段階パイプラインが必要である。 モデル自身の予測誤差は、障害モードを直接エンコードする自然な偽物デモである。 我々の手法SMILE (Self-Mined Visual In-Context Learning from Errors) は、ターゲットのVLMの誤りを記録することで、強陰性のモデル固有のプールをオフラインで構築する。 テスト時には、予測が方向信号として機能し、セマンティックな埋め込み空間では、過去のミスが現在のクエリに再帰する可能性が最も高い。 この予測条件付き識別は、タスク固有の設計を使わずに、クローズドセットの分類とオープンエンドの視覚的質問応答の両方に統一的なメカニズムを提供する。 4つのベンチマークと4つのVLMで、SMILEは平均的なタスクスコアゲインを5倍のレイテンシでSOTAベースラインで+3.09ポイント達成する。 プロジェクトページ:https://tree-shu-zhao.github.io/SMILE/

関連論文リスト

• The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs [21.905558014939327]
  視覚言語モデル(VLM)は、依然として基本的なオブジェクトカウントに苦戦している。 内部知識の欠如や内部表現と言語出力のギャップを反映しているかどうかを考察する。 本研究では,内部誤差検出器が故障を予測した場合のみモデルを選択的に再起動する自己補正法を提案する。
  論文  参考訳（メタデータ） (2026-07-10T15:50:54Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Employing Vision-Language Models for Face Image Quality Assessment [0.023141219541346198]
  顔画像品質評価(FIQA)はバイオメトリックパイプラインにおいて重要な制御ステップである。 最先端のFIQA法は高い実用性を達成するが、通常「ブラックボックス」として機能する ゼロショット環境でFIQAを実行することにより,このギャップを埋めるため,市販のビジョンランゲージモデル(VLM)の可能性を検討する。
  論文  参考訳（メタデータ） (2026-05-17T14:57:52Z)
• LogitDynamics: Reliable ViT Error Detection from Layerwise Logit Trajectories [1.4610038284393168]
  視覚変換器(ViT)の誤差予測に関する研究 大規模言語モデルにおける内信号幻覚検出の動機付けにより、類似の深度信号がViTに存在するかどうかを考察する。 中間層に軽量な線形ヘッドを付加することにより、予測クラスのロジットとトップK競合の両方をキャプチャする最後のL層から特徴を抽出する。 これらの特徴に基づいて訓練された線形プローブは、エラーインジケータを予測する。
  論文  参考訳（メタデータ） (2026-04-12T13:43:40Z)
• TRoVe: Discovering Error-Inducing Static Feature Biases in Temporal Vision-Language Models [10.388673049493947]
  TRoVeは、エラーを誘発する静的な特徴バイアスを発見するための自動化アプローチである。 視覚言語モデルにおいて,TRoVeは誤りを誘発する静的な特徴バイアスを正確に識別できることを示す。
  論文  参考訳（メタデータ） (2025-11-30T19:36:46Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
  ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。 メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。 この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-30T09:33:38Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。