論文の概要: Can the Parts Fool the Test? Counterfactual Pairing Cycles for Relational OOD
- arxiv url: http://arxiv.org/abs/2610.23248v1
- Date: Fri, 16 Oct 2026 10:22:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.871964
- Title: Can the Parts Fool the Test? Counterfactual Pairing Cycles for Relational OOD
- Title(参考訳): 部品はテストに役立てられるか? リレーショナルOODの対実ペアリングサイクル
- Abstract要約: 負の値がキャプションスタイル、テンプレート、長さオブジェクトの頻度、あるいは画像統計と異なるため、振る舞いをテストするための多くの評価はペアリングなしで解決できる。
比較の両面に同じ2つの画像と同じ2つのキャプションを再利用するブロックされた評価プリミティブである対実ペアリングサイクルを提案する。
- 参考スコア(独自算出の注目度): 7.084026966466265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relational out-of-distribution errors are easy to describe and hard to evaluate cleanly. An image may be natural, a caption may be fluent, and all mentioned objects may be common, yet the caption may describe the wrong relation in the image. Many evaluations intended to test this behavior can be solved without checking the pairing at all, because negatives differ in caption style, template, length, object frequency, or image statistics. We propose counterfactual pairing cycles, a blocked evaluation primitive that reuses the same two images and the same two captions on both sides of the comparison, changing only which image is paired with which caption. This makes image-only, text-only, and additive component shortcuts cancel exactly in finite samples. The same contrast also gives a training loss for relational outlier exposure and a diagnostic for bilinear vision-language scores. Across synthetic controls, GQA, and COCO, cycles separate coarse image-caption matching from directional role-binding failures, while also identifying geometric size relations that remain strongly visible in global features. In a shortcut-contaminated COCO outlier-exposure stress test, a model selected by a near-perfect shortcut validation AUROC retains substantial relational signal but remains below cycle training on exact cycles; cycle training improves CycleAcc from 0.882 to 0.927. The main lesson is simple: to test whether a model understands a pairing, the benchmark should keep the parts fixed, change the pairing, and ask only about coupling. The official implementation is available online.
- Abstract(参考訳): リレーショナル・アウト・オブ・ディストリビューション・エラーは説明が容易で、クリーンに評価するのは難しい。
画像は自然であり、キャプションは流動的であり、すべての言及対象が共通であることもあるが、キャプションは画像内の間違った関係を記述しているかもしれない。
負はキャプションスタイル、テンプレート、長さ、オブジェクト頻度、画像統計に異なるため、この動作をテストするための多くの評価はペアを全くチェックせずに解決できる。
比較の両面に同じ2つの画像と同じ2つのキャプションを再利用するブロックされた評価プリミティブである対物ペアリングサイクルを提案し、どのキャプションがどのキャプションとペアリングされているかだけを変更する。
これにより、画像のみ、テキストのみ、および追加コンポーネントのショートカットが、正確に有限サンプルでキャンセルされる。
同じコントラストは、リレーショナル・アウトリー・エクスポージャーのトレーニング損失と、双線形視覚言語スコアの診断も与えている。
総合的な合成制御(GQA)とCOCO(COCO)は、指向性ロール結合障害から粗いイメージキャプションマッチングを分離すると同時に、グローバルな特徴において強く見えるような幾何学的サイズ関係を識別する。
ほぼ完全なショートカット検証AUROCで選択されたモデルでは、かなりのリレーショナル信号を保持するが、正確なサイクルでサイクルトレーニング以下であり、サイクルトレーニングではサイクルAccが0.882から0.927に改善されている。
モデルがペアリングを理解しているかどうかをテストするために、ベンチマークはパーツを固定し、ペアリングを変更し、結合についてのみ尋ねるべきである。
公式実装はオンラインで公開されている。
関連論文リスト
- DEPICT: Scoring Text-to-Image Alignment by Answer Agreement [4.8252947999831]
画像ベースとキャプションのみの回答との一致を期待して、固定参照回答を置き換えるトレーニングフリーのメトリクスであるDEPICTを提案する。
我々は,DECICTを3つのモデルファミリーの5つのベンチマークと11個のバックボーンで評価し,トレーニング不要の指標をすべて超越し,3つの人間相関ベンチマークのうち2つで微調整した評価器を超越していることを確認した。
論文 参考訳(メタデータ) (2026-10-02T17:13:49Z) - Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。
提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
論文 参考訳(メタデータ) (2023-08-19T05:34:13Z) - Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image
Translation [12.754320302262533]
我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。
提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
論文 参考訳(メタデータ) (2022-04-23T08:31:18Z) - Robust Contrastive Learning against Noisy Views [79.71880076439297]
ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。
提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
論文 参考訳(メタデータ) (2022-01-12T05:24:29Z) - Contrastive Semantic Similarity Learning for Image Captioning Evaluation
with Intrinsic Auto-encoder [52.42057181754076]
自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。
文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。
実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
論文 参考訳(メタデータ) (2021-06-29T12:27:05Z) - Unsupervised Landmark Learning from Unpaired Data [117.81440795184587]
教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。
本稿では,2回スワッピング・リコンストラクション・ストラテジーを適用して最終監視を行うクロスイメージ・サイクル整合性フレームワークを提案する。
提案するフレームワークは,強いベースラインを大きなマージンで上回ることを示す。
論文 参考訳(メタデータ) (2020-06-29T13:57:20Z) - Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。
数ショットの学習データセットについて広範な実験を行う。
論文 参考訳(メタデータ) (2020-02-29T08:37:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。