論文の概要: How Do Artificial Agents Make Decisions in Light of Visual Data?

• arxiv url: http://arxiv.org/abs/2611.05671v1
• Date: Tue, 03 Nov 2026 21:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.860198
• Title: How Do Artificial Agents Make Decisions in Light of Visual Data?
• Title（参考訳）: 人工エージェントはどのようにして視覚データに決定を下すのか?
• Abstract要約: 本研究では,視覚的データの存在下での不確実性の下で,人工エージェントが意思決定をどのように知覚し,ナビゲートするかを検討する。 モデルおよび可視化モデル間での知覚精度と判定性能を解析した。 意思決定において、自律的なエージェントは、円グラフ、アイコン配列、テキストを通して不確実性が表現されたときに、合理的な決定理論と最適な整合性を示した。
• 参考スコア（独自算出の注目度）: 0.9699101045941682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have demonstrated significant advances in reasoning with visual data, which is particularly important given that much of human knowledge is encoded visually in scientific articles and other sources. However, a gap remains in understanding how artificial agents, powered by VLMs, perceive and navigate decision-making under uncertainty in the presence of visual data. This study explores this gap by evaluating and analyzing autonomous decision-making processes. Building upon prior work in visualization literacy and decision theory, we conducted two complementary studies: one examining how agents perceive and quantify uncertainty encoded in visualizations, and another investigating how artificial agents make decisions based on visual data in the form of images. We analyzed perception accuracy and decision performance across models and visualization types. Our results show that GPT-4o demonstrates the highest accuracy in perceiving uncertainty in pie and bar charts among the tested models. For decision-making, autonomous agents showed the best alignment with rational decision theory when uncertainty was represented through circle charts, icon arrays, or text.
• Abstract（参考訳）: 視覚言語モデル(VLM)は視覚データを用いた推論において大きな進歩を示しており、人間の知識の多くが科学論文やその他の情報源で視覚的に符号化されていることを考えると、特に重要である。 しかしながら、VLMを動力とする人工エージェントが、視覚的データの存在下で不確実な意思決定を知覚し、ナビゲートする方法を理解する上で、ギャップは依然として残っている。 本研究では、自律的な意思決定プロセスの評価と分析により、このギャップについて検討する。 可視化リテラシーと意思決定理論の先行研究に基づき、エージェントが可視化に符号化された不確実性をどのように認識し、定量化するか、および画像の形で視覚データに基づいて人工知能が意思決定する方法についての2つの相補的な研究を行った。 モデルおよび可視化モデル間での知覚精度と判定性能を解析した。 以上の結果から, GPT-4oは, 試験モデル間のパイやバーチャートの不確かさを知覚する上で, 高い精度を示すことが明らかとなった。 意思決定において、自律的なエージェントは、円グラフ、アイコン配列、テキストを通して不確実性が表現されたときに、合理的な決定理論と最適な整合性を示した。

関連論文リスト

• MM-OPD: Towards One More Bottleneck Between Perception and Reasoning [51.632342337454226]
  最近の大規模言語モデル(MLLM)は、知覚と推論の両方を強化することで視覚的推論を推し進めている。 我々はこの仮定に挑戦する直感的現象を観察し、モデル、疑問、復号化を保ち、イメージをキャプションやコード表現に置き換える。 本稿では,シンボル条件付き行動から画像条件付きポリシーへガイダンスを転送する,シンボル・視覚的修正のためのフレームワークMM-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-09-26T14:53:25Z)
• VerLM: Explaining Face Verification Using Natural Language [50.56081916981731]
  顔認証のための革新的視覚言語モデル(VLM)を提案する。 我々のモデルは2つの補完的な説明スタイルを用いて一意に訓練されている。 提案するVLMは,高度な特徴抽出技術と高度な推論機能を統合し,検証プロセスの明瞭な記述を可能にする。
  論文  参考訳（メタデータ） (2026-01-05T05:16:07Z)
• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Uncertainty in latent representations of variational autoencoders optimized for visual tasks [3.9504737666460037]
  変分オートエンコーダ(VAE)の推論特性について検討する。 従来のコンピュータビジョンからインスピレーションを得て、VAEに誘導バイアスを導入する。 復元された推論能力は、推論ネットワークでモチーフを開発することによって提供される。
  論文  参考訳（メタデータ） (2024-04-23T16:26:29Z)
• InDL: A New Dataset and Benchmark for In-Diagram Logic Interpretation based on Visual Illusion [1.7980584146314789]
  本稿では,深層学習モデルの論理解釈能力を評価するための新しい手法を提案する。 これらのモデルを厳格にテストし、ベンチマークするために設計された、ユニークなデータセットであるInDLを構築します。 我々は、6つの古典的な幾何学的錯視を利用して、人間と機械の視覚知覚の比較フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-28T13:01:32Z)
• Topological Interpretability for Deep-Learning [0.30806551485143496]
  ディープラーニング(DL)モデルは、予測の確実性を定量化できない。 本研究は,臨床および非臨床のテキストに基づいて訓練された2つのDL分類モデルにおいて,特徴を推測する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:38:13Z)
• Towards Reliable Assessments of Demographic Disparities in Multi-Label Image Classifiers [11.973749734226852]
  マルチラベル画像分類と,特に対象分類タスクについて検討する。 測定のための設計選択とトレードオフは、以前のコンピュータビジョン文学で議論されたよりもニュアンスが高い。 実装の詳細にだけ似ているが、評価の結論に大きな影響を及ぼすいくつかの設計選択を特定します。
  論文  参考訳（メタデータ） (2023-02-16T20:34:54Z)
• Unveiling the Unseen: A Comprehensive Survey on Explainable Anomaly Detection in Images and Videos [49.07140708026425]
  画像やビデオを含む視覚データの異常検出とローカライゼーションは、機械学習や現実世界のアプリケーションにおいて不可欠である。 本稿では,説明可能な2次元視覚異常検出(X-VAD)に焦点を当てた初の包括的調査を行う。 本稿では,その基礎技術によって分類された説明可能な手法の文献レビューを行う。 我々は、将来的な方向性と、説明品質の定量化を含むオープンな問題について議論する。
  論文  参考訳（メタデータ） (2023-02-13T20:17:41Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• Perception Visualization: Seeing Through the Eyes of a DNN [5.9557391359320375]
  我々は、Grad-CAMのような現在の説明方法と本質的に異なる、新しい説明形式を開発する。 知覚可視化は、DNNが入力画像で知覚するものの視覚的表現を提供する。 ユーザスタディの結果から,認識の可視化が可能になった場合,人間がシステムの判断をよりよく理解し,予測できることが示される。
  論文  参考訳（メタデータ） (2022-04-21T07:18:55Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。