Fugu-MT 論文翻訳(概要): Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation

論文の概要: Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation

arxiv url: http://arxiv.org/abs/2608.03691v1
Date: Tue, 04 Aug 2026 13:59:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:23.229857
Title: Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation
Title（参考訳）: ピクセル上のパターン:マルチモーダルコード生成におけるパターン補完バイアスの測定
Abstract要約: マルチモーダルな大言語モデル(MLLM)は、Webページのスクリーンショットをフロントエンドコードに変換するのにますます使われている。目的のスクリーンショット・コード・イン・ザ・ブランクタスクにおいて、繰り返しWebページパターンがMLLMの精度を損なうかをテストする。
参考スコア（独自算出の注目度）: 9.86781125777299
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multimodal large language models (MLLMs) are increasingly used to translate webpage screenshots into front-end code, but repeated UI patterns may sway them toward visually incorrect yet pattern-consistent outputs. In this work, we test how repeated webpage patterns hurt MLLM accuracy on an objective screenshot-to-code fill-in-the-blank task. We introduce the first benchmark for visual pattern-completion bias, where one localized element in a repeated UI pattern is perturbed and the model must recover the masked width or font-size value from the screenshot and HTML context. Starting from 30 webpages curated from the Design2Code dataset, we build 1,440 evaluated screenshots spanning structural card and text-style patterns under standard and noise-overlaid conditions. We evaluate five frontier MLLMs and find that all are strongly biased toward the repeated baseline. Mean bias rate reaches 69.78% on card-width perturbations and 80.22% on text font-size perturbations, while mean accuracy is only 21.17% and 7.89%, respectively. Codex-5.3 performs best but still drops from 68.61% accuracy on cards to 13.89% on text, while Flash-3.0 reaches 96.11% bias on text. Noise, subtler perturbations, and boundary positions further increase bias rate. Reasoning analysis further shows that greater reasoning effort correlates with lower bias, yet qualitative evidence reveals that models can identify the anomalous element and still override it with the pattern-consistent answer. Our results identify a concrete failure mode in multimodal code generation and show that its severity is strongly associated with visual saliency
Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、Webページのスクリーンショットをフロントエンドのコードに変換するためにますます使われています。本研究では,Webページの繰り返しパターンがMLLMの精度を損なうかどうかを客観的なスクリーンショット・コード・イン・ザ・ブランク・タスクで検証する。そこでは、繰り返しUIパターン内の1つの局所化要素を摂動させ、そのモデルがスクリーンショットとHTMLコンテキストからマスクされた幅またはフォントサイズ値を復元する必要がある、視覚的パターン補完バイアスの最初のベンチマークを紹介する。 Design2Codeデータセットからキュレートされた30のWebページから、標準およびノイズオーバーレイ条件下で構造カードとテキストスタイルのパターンにまたがる1,440のスクリーンショットを作成した。我々は,5つのフロンティアMLLMを評価し,すべて繰り返しベースラインに強く偏りがあることを見出した。平均バイアス率はカード幅の摂動で69.78%、フォントサイズの摂動で80.22%、平均精度は21.17%と7.89%である。 Codex-5.3は68.61%の精度から13.89%のテキスト、Flash-3.0は96.11%のバイアスとなっている。ノイズ、微妙な摂動、境界位置はさらにバイアス率を増加させる。推論分析はさらに、より大きな推論の努力はバイアスの低下と相関していることを示しているが、定性的な証拠は、モデルが異常要素を識別し、なおもパターン一貫性の答えでそれを上書きできることを示している。以上の結果から,マルチモーダルコード生成における具体的な故障モードを特定し,その重症度が視覚的満足度と強く関連していることが示唆された。

関連論文リスト

When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文参考訳（メタデータ） (2026-08-05T11:46:15Z)
Expert-Aware Causal Tracing of Factual Recall in Sparse MoE Language Models [48.37640356111552]
ファクトリコールの因果トレースは、主に高密度トランスフォーマー言語モデルで研究されている。スパースMoE言語モデルのための専門家対応因果トレースを定式化する。
論文参考訳（メタデータ） (2026-06-02T15:35:48Z)
From Mirage to Grounding: Towards Reliable Multimodal Circuit-to-Verilog Code Generation [16.148817642071638]
回路図は、ハードウェアの視覚的なドメイン固有言語と見なすことができる。このような図をレジスタ-トランスファーレベル(RTL)コードに変換することは、視覚-コード生成のための極めて信頼性の高いテストである。回路図を空白の画像に置き換えると、Pass@kは変わらないかそれ以上になるのです。
論文参考訳（メタデータ） (2026-04-30T15:01:27Z)
Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
論文参考訳（メタデータ） (2026-03-10T02:14:23Z)
When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought [118.71264263478083]
MIRAは,中間画像の生成が推論の成功に不可欠であるシナリオにおいて,モデルを評価するために設計された新しいベンチマークである。 546のマルチモーダル問題を含み、中間画像と最終回答が注釈付きである。
論文参考訳（メタデータ） (2025-11-04T18:00:51Z)
Structured Reasoning for Fairness: A Multi-Agent Approach to Bias Detection in Textual Data [0.0]
本稿では,各文を事実あるいは意見として切り離して識別するマルチエージェントフレームワークを提案する。改良された検出精度と解釈可能な説明を組み合わせることで、現代の言語モデルにおける説明責任を促進する。
論文参考訳（メタデータ） (2025-03-01T05:27:54Z)
ViLBias: Detecting and Reasoning about Bias in Multimodal Content [6.710013984078675]
ViLBiasは、マルチモーダルニュースにおけるバイアスの検出と推論のためのフレームワークである。データセットは40,945のテキストペアで構成されている。その結果,テキストによる画像の検出精度は3～5%向上した。
論文参考訳（メタデータ） (2024-12-22T15:05:30Z)
Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文参考訳（メタデータ） (2024-11-05T01:11:28Z)
TextSquare: Scaling up Text-Centric Visual Instruction Tuning [62.878378882175284]
大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
論文参考訳（メタデータ） (2024-04-19T11:38:08Z)
Benchmarking Robustness of Multimodal Image-Text Models under Distribution Shift [50.64474103506595]
本稿では,5つのタスクに対する共通の摂動下での12のオープンソース画像テキストモデルの堅牢性について検討する。文字レベルの摂動はテキストの最も深刻な分布シフトであり、ズームボケは画像データにとって最も深刻なシフトである。
論文参考訳（メタデータ） (2022-12-15T18:52:03Z)
Deciphering Implicit Hate: Evaluating Automated Detection Algorithms for Multimodal Hate [2.68137173219451]
本稿では,暗黙的かつ明示的な憎悪を検出するための意味的・マルチモーダル的文脈の役割を評価する。テキストと視覚の豊かさがモデル性能を向上させることを示す。すべてのモデルが完全なアノテータ契約でコンテンツ上でより優れた性能を発揮しており、マルチモーダルモデルはアノテータが同意しないコンテントの分類に最適であることがわかった。
論文参考訳（メタデータ） (2021-06-10T16:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。