論文の概要: How Well Do LLMs Reason with Noisy Evidence? An Active Visual Reasoning Benchmark

• arxiv url: http://arxiv.org/abs/2610.07751v1
• Date: Tue, 06 Oct 2026 04:49:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.803508
• Title: How Well Do LLMs Reason with Noisy Evidence? An Active Visual Reasoning Benchmark
• Title（参考訳）: LLMはノイズエビデンスとどのように関係しているのか? アクティブなビジュアル推論ベンチマーク
• Abstract要約: ノイズの多い視覚フィードバックの下で、アクティブ推論のための新しいベンチマークであるVisualNoiseQAを紹介する。 テキストのみのLLMは、キャリブレーションされた視覚センサとして扱われる固定されたオフザシェルフVLMを反復的にクエリすることで、VQA問題を解決する必要がある。 我々は、認識、チャート理解、知識集約的推論にまたがる1000のインスタンスに対して、複数のLCM推論器を評価した。
• 参考スコア（独自算出の注目度）: 7.395672106130831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world reasoning rarely reduces to static question answering: agents must actively gather information from tools and sensors that are often noisy and unreliable. Yet most existing active reasoning benchmarks assume that environmental feedback is trustworthy, or introduce noise without exposing an explicit, calibrated uncertainty signal, leaving open how LLMs should reason when the evidence itself is uncertain. We introduce VisualNoiseQA, a novel benchmark for active reasoning under noisy visual feedback. A text-only LLM must solve VQA problems by iteratively querying a fixed, off-the-shelf VLM treated as a stochastic visual sensor. For each query, we draw multiple samples and expose an empirical uncertainty signal via self-consistency, enabling the reasoner to probe from different angles and decide what to ask next and when to stop. Our construction is automatic and scalable: starting from diverse VQA sources and two noisy VLMs, we retain only questions where the sensor is inconsistent yet human-solvable. We evaluate multiple LLM reasoners on 1,000 instances spanning perception, chart understanding, and knowledge-intensive reasoning. VisualNoiseQA thus provides a controlled playground to study how different LLMs exploit uncertainty signals for robust reasoning.
• Abstract（参考訳）: エージェントは、しばしば騒々しく信頼できないツールやセンサーから情報を積極的に集めなければならない。 しかし、既存の活発な推論ベンチマークでは、環境フィードバックは信頼に値すると仮定し、明示的で校正された不確実性信号を公開することなくノイズを発生させる。 ノイズの多い視覚フィードバックの下で、アクティブ推論のための新しいベンチマークであるVisualNoiseQAを紹介する。 テキストのみのLLMは、確率的視覚センサとして扱われる固定されたオフザシェルフVLMを反復的にクエリすることで、VQA問題を解決する必要がある。 各クエリに対して、複数のサンプルを描画し、自己整合性を介して経験的な不確実性信号を公開する。 さまざまなVQAソースと2つのノイズの多いVLMから始めて、センサが一貫性がなく、人間に解けないのかという疑問だけが残るのです。 我々は、認識、チャート理解、知識集約的推論にまたがる1000のインスタンスに対して、複数のLCM推論器を評価した。 これにより、VisualNoiseQAは、異なるLLMが堅牢な推論のために不確実性信号をどのように利用するかを研究するための制御された遊び場を提供する。

関連論文リスト

• Reading Between the Lines: Abstaining from VLM-Generated OCR Errors via Latent Representation Probes [79.36545159724703]
  隠れ状態や注目パターンの軽量プローブを学習するためのLRP(Latent Representation Probing)を提案する。 LRPは、ベストベースラインよりも吸音精度を7.6%向上させる。 これにより、デプロイメント対応AIシステムを構築するための原則化されたフレームワークが確立される。
  論文  参考訳（メタデータ） (2025-11-25T00:24:42Z)
• Reason-KE++: Aligning the Process, Not Just the Outcome, for Faithful LLM Knowledge Editing [63.96040994220329]
  SFTに基づく手法、例えばReason-KEは「偽りのギャップ」に悩まされている。 このギャップにより、LLMの強力なパラメトリック先行は、新しい文脈事実をオーバーライドすることができる。 本稿では,プロセスレベルの忠実性を具現化するSFT+RLフレームワークReason-KE++を提案する。
  論文  参考訳（メタデータ） (2025-11-16T15:49:01Z)
• WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
  大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。 我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
  論文  参考訳（メタデータ） (2025-07-22T03:21:48Z)
• ComparisonQA: Evaluating Factuality Robustness of LLMs Through Knowledge Frequency Control and Uncertainty [34.24348310302598]
  283Kの抽象的な質問を含む比較QAベンチマークを導入する。 LLMの性能における知識周波数の役割を研究するために、制御可能な比較を確実にする。 GPT-4oを含むLSMは、低周波知識に関して特にロバスト性を示す。
  論文  参考訳（メタデータ） (2024-12-28T19:51:08Z)
• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。 この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。 本稿では,CRaFT(Certainty Represented Knowledge Flow for Refusal-Aware Instructions Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
  大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
  論文  参考訳（メタデータ） (2024-10-01T06:07:00Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。