Fugu-MT 論文翻訳(概要): FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition

論文の概要: FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition

arxiv url: http://arxiv.org/abs/2605.13193v2
Date: Tue, 19 May 2026 13:19:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-20 15:03:08.272612
Title: FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition
Title（参考訳）: FIKA-Bench:微粒化認識から微粒化知識獲得へ
Abstract要約: 日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
参考スコア（独自算出の注目度）: 54.31138496553705
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-grained recognition in everyday life is often not a closed-book classification problem: when encountering unfamiliar objects, humans actively search, compare visual details, and verify evidence before deciding. Existing benchmarks primarily evaluate visually recognition, leaving this active external knowledge acquisition ability underexplored. We study fine-grained knowledge acquisition, where a system must seek, verify, and use external evidence to answer open-ended fine-grained recognition questions. We introduce FIKA-Bench, a leakage-aware and evidence-grounded collection of 311 public-source and real-life instances. To ensure high quality, every example is filtered against frontier closed-book models to remove memorized cases and audited to eliminate image-answer leakage, retaining only samples supported by verified evidence. Our evaluation of latest Large Multimodal Models (LMMs) and agents reveals that the task remains a formidable challenge: the best system reaches only 25.1% accuracy, with no model exceeding 30%. Crucially, we find that merely equipping models with tools is insufficient to bridge this gap; agent failures are predominantly driven by wrong entity retrieval and poor visual judgement. These results show that reliable knowledge acquisition needs better agent designs that focus on fine-grained recognition.
Abstract（参考訳）: 身近な物体に遭遇すると、人間が積極的に検索し、視覚的詳細を比較し、決定する前に証拠を検証します。既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。そこでは,システムが外部の証拠を探し,検証し,利用して,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。 FIKA-Benchは,311のオープンソースおよび実環境インスタンスのリーク認識とエビデンスを基盤としたコレクションである。高品質を確保するため、すべてのサンプルはフロンティアのクローズドブックモデルに対してフィルタリングされ、暗記されたケースを除去し、検査して画像検索のリークを除去し、証拠によって支持されるサンプルのみを保持する。最新のLMM(Large Multimodal Models)とエージェントによる評価では、このタスクは依然として深刻な課題であり、最高のシステムはわずか25.1%の精度で、30%を超えるモデルはない。重要なことは、単にツールを装備するだけでこのギャップを埋めることはできない。エージェントの失敗は、間違ったエンティティの検索と視覚的判断の欠如によって主に引き起こされる。これらの結果から,信頼性の高い知識獲得には,きめ細かな認識に焦点を当てたエージェント設計が必要であることが示唆された。

関連論文リスト

Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models [33.564453692157095]
不確実性は、モデルが失敗する可能性を示すだけでなく、なぜ不確実かも診断すべきである。そこで本研究では,障害発生源の予測に前世代の信号が有効かどうかを検証し,障害発生モードを解消するための統一的なフレームワークを提案する。我々の主な発見は、認識関連障害が視覚的トーケン表現によって最もよく捉えられるのに対して、認識後に残る障害は、素早い条件で隠された状態によってよりよく捉えられることである。
論文参考訳（メタデータ） (2026-07-06T05:11:45Z)
Advancing Creative Physical Intelligence in Large Multimodal Models [62.56522271769017]
MM-CreativityBenchは、視覚的にリッチで物理的に制約のある環境において、手頃なグラウンドで使用されるクリエイティブツールのベンチマークである。筆者らの実験では、現在のLMMは、生成能力の欠如によるものではなく、基底探索を維持できないため、しばしば短くなることが示されている。この障害モードを動機として,創造的ツールの使用を優先学習問題とするアライメント(アライメント,アライメント,アライメント)を提案する。
論文参考訳（メタデータ） (2026-05-25T23:59:02Z)
Seamless Deception: Larger Language Models Are Better Knowledge Concealers [26.38326875955904]
言語モデル(LM)は有害な知識を取得し、監査中はこれらのトピックを無視することができる。近年, 誤認関連行動パターンの発見に触発されて, LMが知識を積極的に隠蔽していることを検知する分類器を訓練することを目指している。
論文参考訳（メタデータ） (2026-03-15T23:55:21Z)
Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文参考訳（メタデータ） (2025-10-01T07:59:03Z)
ADSeeker: A Knowledge-Infused Framework for Anomaly Detection and Reasoning [17.249025173985697]
本稿では,知識基底推論による検査性能向上を目的とした異常タスクアシスタントであるADSeekerを提案する。業界異常検出(IAD)データの制限に対処するため,最大規模のADデータセットであるMulA(Multi-type Anomaly)を導入する。我々のプラグイン・アンド・プレイフレームワークであるADSeekerは、いくつかのベンチマークデータセットで最先端のゼロショット性能を実現しています。
論文参考訳（メタデータ） (2025-08-05T05:05:06Z)
Forensics-Bench: A Comprehensive Forgery Detection Benchmark Suite for Large Vision Language Models [53.55128042938329]
Forensics-Benchは、新しい偽検出評価ベンチマークスイートである。 63,292件の厳密にキュレートされたマルチチョイスの視覚的質問からなり、112件の独特な偽造検出をカバーしている。 GPT-4o, Gemini 1.5 Pro, Claude 3.5 Sonnetの22のオープンソースLVLMと3つのプロプライエタリモデルについて徹底的な評価を行った。
論文参考訳（メタデータ） (2025-03-19T09:21:44Z)
AttributionBench: How Hard is Automatic Attribution Evaluation? [19.872081697282002]
AttributionBenchは、様々な既存の属性データセットからコンパイルされた包括的なベンチマークである。実験の結果,微調整GPT-3.5でさえ,二項分類法で約80%のマクロF1しか達成できないことがわかった。 300以上のエラーケースの詳細な分析では、失敗の大部分は、ナンスされた情報を処理できないことに起因する。
論文参考訳（メタデータ） (2024-02-23T04:23:33Z)
Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文参考訳（メタデータ） (2023-01-17T01:46:45Z)
Evidence-based Match-status-Aware Gait Recognition for Out-of-Gallery Gait Identification [31.287312613939203]
Evidence-based Match-status-Aware Gait Recognition frameworkを提案する。 Evidential Deep Learning (EDL)にインスパイアされたEMA-GRは、認識の一致状況に関連する不確実性を定量化するように設計されている。我々の手法は既存の最先端手法をかなり上回ります。
論文参考訳（メタデータ） (2022-11-15T09:42:07Z)
A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文参考訳（メタデータ） (2022-06-30T02:35:04Z)
The Familiarity Hypothesis: Explaining the Behavior of Deep Open Set Methods [86.39044549664189]
特徴ベクトルデータに対する異常検出アルゴリズムは異常を外れ値として識別するが、外れ値検出はディープラーニングではうまく機能しない。本論文は, 新規性の有無ではなく, 慣れ親しんだ特徴の欠如を検知しているため, これらの手法が成功するというFamiliarity仮説を提案する。本論文は,親しみやすさの検出が表現学習の必然的な結果であるかどうかを論じる。
論文参考訳（メタデータ） (2022-03-04T18:32:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。