論文の概要: Knowing What Not to Answer: Selective Non-Compliance in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.04720v1
• Date: Fri, 04 Sep 2026 04:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.913561
• Title: Knowing What Not to Answer: Selective Non-Compliance in Vision-Language Models
• Title（参考訳）: 答えるべきでないことを知る:視覚言語モデルにおける選択的非コンプライアンス
• Abstract要約: 視覚言語モデル(VLM)における選択的非準拠性を評価するためのベンチマークであるKoNAを紹介する。 我々の評価は、クエリが選択的な非準拠を必要とする場合、モデルが拒否、正しい、あるいは適切に棄権しない場合が多いことを示している。 我々の微調整モデルでは、完全対応可能なタスクの性能を保ちながら、非準拠の精度を大幅に向上する。
• 参考スコア（独自算出の注目度）: 7.287970794207117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are expected to respond helpfully to appropriate requests while withholding compliance with requests that are incorrect, unsafe, infeasible, or unanswerable. However, existing benchmarks predominantly evaluate non-compliance at the level of the query as a whole, assuming that each request either warrants compliance or requires withholding compliance. In practice, real-world queries can contain a mixture of answerable content and components for which compliance should be withheld. In this paper, we introduce KoNA, a benchmark for evaluating selective non-compliance in VLMs across five categories: False Premise, Visual Inaccessibility, Universal Unknown, Task Feasibility, and Safety. Each task evaluates two capabilities: query-level non-compliance and component-level non-compliance under paired single and compound queries. Our evaluation across diverse VLMs shows that models often fail to refuse, correct, or abstain appropriately, and these failures become more pronounced when queries require selective non-compliance. To address this challenge, we fine-tune VLMs using KoNA examples that require selective non-compliance, together with a fully answerable set that should receive direct answers. Our fine-tuned models achieve substantial improvements in non-compliance accuracy while largely maintaining performance on fully answerable tasks. These results suggest that the fine-tuned models can distinguish between answerable components and those requiring non-compliance and respond in a task-appropriate manner.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、正しくない、安全でない、実現不可能な要求に対するコンプライアンスを保ちながら、適切な要求に対して有効な応答を期待されている。 しかしながら、既存のベンチマークでは、各要求がコンプライアンスを保証するか、コンプライアンスを守らなければならないと仮定して、クエリのレベルでの非コンプライアンスを概ね評価している。 実際、現実世界のクエリには、回答可能なコンテンツとコンプライアンスを保留すべきコンポーネントが混在している。 本稿では,False Premise, Visual In Accessibility, Universal Unknown, Task Feasibility, Safetyの5つのカテゴリで,VLMにおける選択的非準拠性を評価するためのベンチマークであるKoNAを紹介する。 各タスクは、クエリレベルの非準拠と、ペア化された単一クエリと複合クエリのコンポーネントレベルの非準拠の2つの機能を評価する。 多様なVLMに対する評価は,クエリが選択的非準拠を必要とする場合,モデルが適切に拒否,正解,棄却しない場合が多く,これらの失敗がより顕著になることを示している。 この課題に対処するために、選択的な非コンプライアンスを必要とするKoNA例を用いてVLMを微調整し、直接答えを得るための完全な回答可能なセットを提供する。 我々の微調整モデルでは、完全対応可能なタスクの性能を保ちながら、非準拠の精度を大幅に向上する。 これらの結果は、微調整されたモデルが、応答可能なコンポーネントと非コンプライアンスを必要とするコンポーネントを区別し、タスクに適した方法で応答できることを示唆している。

関連論文リスト

• CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
  CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。 本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。 実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
  論文  参考訳（メタデータ） (2026-08-12T04:27:45Z)
• Improving Answer Extraction in Context-based Question Answering Systems Using LLMs [0.25489046505746704]
  本稿では,テキストコンテキストと対応する質問からなる大言語モデルに基づく質問応答システムを提案する。 提案手法では,事前学習したLCMをベンチマークQAデータセット上で微調整し,文脈理解と回答抽出能力を向上させる。 実験の結果、微調整されたロバータベースモデルが最も高い性能を示し、ROUGE-Lスコアは86.84%、BLEUスコアは28.24%、BERTSスコアは95.38%に達した。
  論文  参考訳（メタデータ） (2026-06-04T14:04:11Z)
• PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
  不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。 本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。 提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
  論文  参考訳（メタデータ） (2026-04-06T09:54:16Z)
• When and What to Ask: AskBench and Rubric-Guided RLVR for LLM Clarification [8.391356566325054]
  大きな言語モデル(LLM)は、重要な詳細を省略したり、誤解を招く情報を含まない場合にも、しばしば応答する。 タスク性能を犠牲にすることなく,LLMがいつ,何を求めるかを決定する能力の評価と改善について検討する。 AskBenchは、標準的なQAペアを明示的なチェックポイントを持つマルチターンインタラクションに変換する対話型ベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T02:21:01Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
  プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。 我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T01:19:18Z)
• The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
  本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。 我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。 言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
  論文  参考訳（メタデータ） (2024-07-02T07:12:51Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。