論文の概要: Faithful Where You Look: Anchor-Based Evaluation Hides Text Fabrication in Image-Conditioned Video Generation
- arxiv url: http://arxiv.org/abs/2611.00079v1
- Date: Sun, 18 Oct 2026 14:06:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 03:26:47.726384
- Title: Faithful Where You Look: Anchor-Based Evaluation Hides Text Fabrication in Image-Conditioned Video Generation
- Title(参考訳): アンカー・ベースの評価は、画像に精通したビデオ生成のテキスト生成を隠す
- Abstract要約: ビデオモデルは実際の場所を示すために使用されるため、その出力が表示された場所に忠実であるかどうかが現実的な問題である。
東京都の店舗48店舗について, 店舗3社から4種類のモデルを作成し, テキストの忠実度を測定した。
4つのモデルはいずれもノーモデル制御(0.996に対して0.90-0.94)に近く、互いに確実に分離されない。
- 参考スコア(独自算出の注目度): 17.47496829255358
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Image-conditioned video models are used to show real places, so whether their output stays faithful to the place they were shown is a practical question. The text benchmarks we found that check fidelity against a reference do so at an anchor - an annotated region, typically the sign the task is about. We show that this choice hides most of the failure. We conditioned four models from three vendors on 48 street-level references of Tokyo storefronts and measured text fidelity at the annotated sign and in the periphery, the other text the reference covers. At the anchor, all four models are close to a no-model control (anchor text fidelity 0.90-0.94 against 0.996) and are not reliably separated from one another. In the periphery, 36-54% of generated text regions have no counterpart in the reference, against 1.6% for the control, although every prompt forbade new readable text. Two blinded raters agree on which regions are fabricated (kappa = 0.83-0.96), the result held in preregistered rounds on two vendors whose videos the measure had never seen (42% and 56%), and VBench-I2V's reference-based consistency scores show no evidence of tracking it in our sample. Most fabricated text is legible-looking text where the reference shows none or cannot be read - a form that string-matching metrics discard, which is why our own first measure missed it. A preregistered Latin-script replication in London missed its bar in a first round and met it in an independent second round. We release code, annotations, per-video scores, ratings and every preregistration. Code and data: https://github.com/geoywang/refanchor-bench
- Abstract(参考訳): 画像条件付きビデオモデルは実際の場所を示すために使用されるため、その出力が表示された場所に忠実であるかどうかが現実的な問題である。
私たちが見つけたテキストベンチマークでは、アンカーで参照に対する忠実度をチェックすることができます。
この選択が失敗の大部分を隠していることを示す。
筆者らは,東京の店舗48店舗について,店舗3社から4つのモデルを作成し,アノテート標識におけるテキストの忠実度を測定した。
アンカーでは、4つのモデル全てがノーモデル制御(0.996に対して0.90-0.94のアンカーテキストフィデリティ)に近く、互いに確実に分離されない。
周辺では、生成したテキスト領域の36-54%が参照に該当せず、コントロールが1.6%であるのに対して、すべてのプロンプトは新しい読みやすいテキストを禁止している。
カッパ = 0.83-0.96) で、ビデオが見たことのない2つのベンダー(42%と56%)で事前登録されたラウンドを行い、VBench-I2Vの基準ベースの一貫性スコアは、サンプルでそれを追跡する証拠を示さなかった。
ほとんどの製造されたテキストは、参照が読めない、あるいは読めない可読なテキストで、文字列マッチングメトリクスが破棄される形式です。
ロンドンで事前登録されたラテン文字の複製は、第1ラウンドでバーを逃し、独立した第2ラウンドで出会った。
コード、アノテーション、ビデオ毎のスコア、評価、すべての事前登録をリリースします。
コードとデータ:https://github.com/geoywang/refanchor-bench
関連論文リスト
- Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation [45.88028371034407]
ベクトルを再計算してコサイントレランス内で受け入れる検証器は、予測可能なクエリの共有を攻撃者に譲る。
ローカル言語モデルを実行するRaspberry Pi 5では、このような攻撃は正しい回答を0.75から0.39に下げる。
一般的な浮動小数点および動的INT8推論パイプラインは、バッチサイズやアーキテクチャでビット再生可能であることを示す。
論文 参考訳(メタデータ) (2026-11-04T13:32:04Z) - TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races [53.403108666656955]
TextSeal2は、大きな言語モデルのための歪みのない透かしである。
出力の多様性を保ち、測定可能な推論遅延を追加しない。
TextSealとTextGrainは、同じ受け入れ率で、それぞれ18ポイントと22ポイントの200トークンの回答を検知する。
論文 参考訳(メタデータ) (2026-10-29T17:54:12Z) - Same Output, Different Gold: Measuring How Reference Choice Moves a Multilingual Benchmark Score [0.0]
ベンチマークスコアの第2項を,基準に対するシステム出力と比較した。
スコアは1つの出力で4.95F1点、もう1つの出力で2.00点(95%CI[3.23, 6.27]と[0.26, 3.37])、最悪の言語では7.55点である。
原因は文書化されていないアグリゲーションのデフォルトで、偏見が発火しなかった場合、通常は1つのアノテータを保持し、出荷された参照は出力の部分的にコピーされる。
論文 参考訳(メタデータ) (2026-10-02T08:56:29Z) - VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents [8.80548156733219]
脆弱性検出ベンチマークは、収集した証拠ではなく、エージェントが到達した判断をスコアする。
VulContextBenchは、83のリポジトリ、63のCWE、および5つの言語にわたる111の脆弱性導入コミット(VIC)のベンチマークである。
論文 参考訳(メタデータ) (2026-09-26T13:19:18Z) - The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora [0.0]
我々は、維持されたコーパスに置換可能な言語モデルを基盤とするノードを構築し、その成功した外観評価がサポートできるかどうかを尋ねました。
10台のモデルで目標名リコールが0.265から0.92に引き上げられた。
コピーベースライン、表示されたコンテキストの冗長コピーのリコールは、既に達成され、0.964でスコアされ、すべてのモデルは0.022から0.067の下に位置する。
論文 参考訳(メタデータ) (2026-09-21T16:53:00Z) - RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs [0.40611352512781873]
RelateAnythingは、任意のソースからイメージとリージョンを取得し、文字列として推論時に供給される述語語彙に関するスコア付き関係を返す。
19,103以上の述語を訓練するには、正のラベルなしの監督と、アントロニムを分離するテキストエンコーダが必要である。
3つのクロスデータセットのベンチマークと4番目のゼロショットでは、RelateAnythingは2.3-3.5倍の最大規模のオープンボキャブラリメソッドをリコールする。
論文 参考訳(メタデータ) (2026-09-11T07:57:41Z) - The Long Tail, Not the Front Page: Cold-Start Prediction of Crowd Highlight Salience [1.8620637029128544]
ソーシャル・ハイライトの最も有用なシグナルは、既に多くの人が読んでいる文書にのみ存在する。
文書の集合的な群衆のサリエンスを、そのマークが蓄積される前にテキストから予測できるのか?
このデータに関する以前の研究で、ゼロショット言語モデルが、簡単なリード(配置)ベースラインよりも低い位置のハイライトを回復していることが判明した。
ハイライトコーパスでトレーニングされたモデルがそのベースラインを上回ることができるかどうかを問う。
論文 参考訳(メタデータ) (2026-06-10T04:37:23Z) - RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning [77.59074909960913]
Retrieval-Enhanced Test-Time Adaptation (RETTA) と呼ばれる新しいゼロショットビデオキャプションフレームワークを提案する。
一般的なビデオテキスト検索モデルXCLIP、一般的な画像テキストマッチングモデルCLIP、テキストアライメントモデルAnglE、テキスト生成モデルGPT-2の4つのキーモデルを用いてビデオとテキストをブリッジする。
そこで本研究では,GPT-2,XCLIP,CLIP,AnglEの4つのフリーズモデルにおいて,学習可能なトークンを通信媒体として用いることを提案する。
論文 参考訳(メタデータ) (2024-05-11T16:22:00Z) - AE TextSpotter: Learning Visual and Linguistic Representation for
Ambiguous Text Spotting [98.08853679310603]
本研究はAmbiguity Elimination Text Spotter(AE TextSpotter)という新しいテキストスポッターを提案する。
AE TextSpotterは、視覚的特徴と言語的特徴の両方を学び、テキスト検出の曖昧さを著しく低減する。
我々の知る限り、言語モデルを用いてテキスト検出を改善するのはこれが初めてである。
論文 参考訳(メタデータ) (2020-08-03T08:40:01Z) - ContourNet: Taking a Further Step toward Accurate Arbitrary-shaped Scene
Text Detection [147.10751375922035]
本研究では,シーンテキストの偽陽性と大規模分散を効果的に処理するContourNetを提案する。
本手法は,両方向の応答値の高い予測を出力するだけで,これらの偽陽性を効果的に抑制する。
論文 参考訳(メタデータ) (2020-04-10T08:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。