論文の概要: From Text Decisions to Pixels: An Study of Jev-Style Visual Choice Model

• arxiv url: http://arxiv.org/abs/2609.29283v1
• Date: Thu, 24 Sep 2026 09:19:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.811044
• Title: From Text Decisions to Pixels: An Study of Jev-Style Visual Choice Model
• Title（参考訳）: テキスト決定からピクセルへ:Jev-style Visual Choice Modelの検討
• Abstract要約: PixelJevは、イメージ、タスク命令、ランタイム候補セットを構造化された選択と候補条件付き確率にマッピングする、ネイティブイメージ決定インターフェイスである。 その初期実現は、既存の言語モデルの読み出しを通じて、認識と多重選択の視覚的答えを統一する。
• 参考スコア（独自算出の注目度）: 3.9089508293561845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual software often needs a decision over supplied alternatives rather than a generated explanation. We present PixelJev, a native-image decision interface that maps an image, a task instruction, and a runtime candidate set to a structured choice and candidate-conditioned probabilities using small open multimodal models. Its initial realization unifies recognition and multiplechoice visual question answering through an existing language-model readout, with separately evaluated options for frozen inference, language-side adaptation, and held-out calibration. Across seven benchmark evaluations, 64-shot source adaptation raises Pets accuracy from 60.13% to 92.40% across optimization seeds and transfers to natural resampling, new texture labels, and A-OKVQA without target fitting, while frozen inference already supports both VQA tasks. A matched prompt-only follow-up on Pets and ScienceQA attributes the large Pets gain to adaptation and identifies a narrower output validity benefit of candidate readout in adapted VQA. Specialist DINOv2 probes remain stronger on source recognition, frozen 4B is stronger than adapted 2B on DTD and ScienceQA, and accuracy gains do not ensure calibrated target probabilities. These findings establish a working starting point for general-purpose visual decision models and identify the remaining requirements: schema robustness, cross-family transfer, and reliable use of visual evidence.
• Abstract（参考訳）: ビジュアルソフトウェアは、しばしば生成された説明ではなく、供給された代替案に関する決定を必要とする。 画像、タスク命令、実行時候補セットを、小さなオープンマルチモーダルモデルを用いて構造化された選択と候補条件付き確率にマッピングするネイティブイメージ決定インタフェースであるPixelJevを提案する。 その初期実現は、既存の言語モデルの読み出しを通じて認識と多重選択の視覚的質問応答を統一し、凍結推論、言語側適応、保留校正を別々に評価する。 7つのベンチマーク評価で64ショットのソース適応により、最適化シードと天然再サンプリング、新しいテクスチャラベル、A-OKVQAへの転送において、Petsの精度は60.13%から92.40%に向上し、凍結推論はすでに両方のVQAタスクをサポートしている。 PetsとScienceQAにおける一致したプロンプトのみのフォローアップは、大きなPetsの獲得が適応に寄与し、適応されたVQAにおける候補読み出しのより狭い出力妥当性の利点を識別する。 専門のDINOv2プローブは、ソース認識に強く、DTDやScienceQAに適応した2Bよりも凍結した4Bが強く、精度の高いゲインは校正対象確率を保証しない。 これらの知見は、汎用的な視覚的決定モデルの作業開始点を確立し、残りの要件であるスキーマの堅牢性、家族間の移動、そして視覚的証拠の信頼性の使用を識別する。

関連論文リスト

• VOILA: Value-of-Information Guided Fidelity Selection for Cost-Aware Multimodal Question Answering [5.764021129006918]
  視覚質問応答(VQA)における価値Of情報駆動型適応忠実度選択のためのフレームワークVOILAを紹介する。 VOILAは一貫して50-60%のコスト削減を実現し、多様なクエリタイプやモデルアーキテクチャで90-95%の精度を維持している。
  論文  参考訳（メタデータ） (2026-02-03T02:19:47Z)
• Towards Refining Developer Questions using LLM-Based Named Entity Recognition for Developer Chatroom Conversations [8.366189422552486]
  ソフトウェアエンジニアリングのチャットルームでは、コミュニケーションは答えられない不正確な質問によって妨げられることが多い。 SENIR(Software-specific Named Entity Recognition, Intent Detection, and Resolution Classification)を導入する。 我々は、SENIRのエンティティとインテントラベルを付加的な予測機能とともに活用する解像度予測モデルを構築した。
  論文  参考訳（メタデータ） (2025-03-02T00:20:24Z)
• A Hitchhikers Guide to Fine-Grained Face Forgery Detection Using Common Sense Reasoning [9.786907179872815]
  視覚と言語の可能性は、いまだに偽造検出に過小評価されている。 顔偽造検出を視覚質問応答(VQA)タスクに変換する方法論が必要である。 このギャップに対処するために,従来の二項決定パラダイムから分岐する多段階的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-01T08:16:40Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• Learning from Lexical Perturbations for Consistent Visual Question Answering [78.21912474223926]
  既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。 本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。 VQA Perturbed Pairings (VQA P2) も提案する。
  論文  参考訳（メタデータ） (2020-11-26T17:38:03Z)
• Contrast and Classify: Training Robust VQA Models [60.80627814762071]
  本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。 双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
  論文  参考訳（メタデータ） (2020-10-13T00:23:59Z)
• Counterfactual Samples Synthesizing for Robust Visual Question Answering [104.72828511083519]
  モデルに依存しない対実サンプル合成(CSS)トレーニングスキームを提案する。 CSSは、画像や質問の言葉で重要なオブジェクトをマスキングすることで、多数の偽物トレーニングサンプルを生成する。 VQA-CP v2では58.95%,6.5%向上した。
  論文  参考訳（メタデータ） (2020-03-14T08:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。