Fugu-MT 論文翻訳(概要): January Food Benchmark (JFB): A Public Benchmark Dataset and Evaluation Suite for Multimodal Food Analysis

論文の概要: January Food Benchmark (JFB): A Public Benchmark Dataset and Evaluation Suite for Multimodal Food Analysis

arxiv url: http://arxiv.org/abs/2508.09966v1
Date: Wed, 13 Aug 2025 17:32:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-14 20:42:00.978397
Title: January Food Benchmark (JFB): A Public Benchmark Dataset and Evaluation Suite for Multimodal Food Analysis
Title（参考訳）: 1月食品ベンチマーク(JFB):マルチモーダル食品分析のための公開ベンチマークデータセットと評価スイート
Abstract要約: 1月食品ベンチマーク(JFB: January Food Benchmark)は、人為的なアノテーションを付加した1000枚の食品画像のコレクションである。第2に、ロバストなメトリクスと、アプリケーション指向の新たな総合スコアを含む、包括的なベンチマークフレームワークについて詳述する。第3に、汎用ビジョンランゲージモデル(VLM)と当社独自の特化モデルである1/food-vision-v1のベースライン結果を提供する。
参考スコア（独自算出の注目度）: 0.62914438169038
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Progress in AI for automated nutritional analysis is critically hampered by the lack of standardized evaluation methodologies and high-quality, real-world benchmark datasets. To address this, we introduce three primary contributions. First, we present the January Food Benchmark (JFB), a publicly available collection of 1,000 food images with human-validated annotations. Second, we detail a comprehensive benchmarking framework, including robust metrics and a novel, application-oriented overall score designed to assess model performance holistically. Third, we provide baseline results from both general-purpose Vision-Language Models (VLMs) and our own specialized model, january/food-vision-v1. Our evaluation demonstrates that the specialized model achieves an Overall Score of 86.2, a 12.1-point improvement over the best-performing general-purpose configuration. This work offers the research community a valuable new evaluation dataset and a rigorous framework to guide and benchmark future developments in automated nutritional analysis.
Abstract（参考訳）: 自動栄養分析のためのAIの進歩は、標準化された評価方法論と高品質な実世界のベンチマークデータセットの欠如によって、著しく妨げられている。これを解決するために,3つの主要なコントリビューションを紹介します。まず1月食品ベンチマーク(JFB: January Food Benchmark)について紹介する。第2に、ロバストなメトリクスと、モデルパフォーマンスを全体的評価するために設計された、新しいアプリケーション指向の総合スコアを含む、包括的なベンチマークフレームワークについて詳述する。第3に、汎用ビジョンランゲージモデル(VLM)と当社独自の特化モデルである1/food-vision-v1のベースライン結果を提供する。評価の結果, 総合スコアは86.2であり, 最高性能の汎用構成よりも12.1ポイント向上した。この研究は、研究コミュニティに貴重な新しい評価データセットと、自動栄養分析における将来の発展をガイドし、ベンチマークするための厳格なフレームワークを提供します。

関連論文リスト

Unsteady Metrics and Benchmarking Cultures of AI Model Builders [0.2238062620016784]
Benchmarking-Cultures-25は、主要なAIビルダ11から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットである。我々は,筆者らが測定している指標に基づいて,測定信号の共有フレームワークに統一された分類学マッピング用語を開発した。
論文参考訳（メタデータ） (2026-05-13T22:39:10Z)
VGA-Bench: A Unified Benchmark and Multi-Model Framework for Video Aesthetics and Generation Quality Evaluation [65.0648741395158]
VGA-Benchは、ビデオ生成の品質と美的品質を評価するための統一されたベンチマークである。我々は1016の多様なプロンプトを設計し、12のビデオ生成モデルを用いて6万以上のビデオの大規模データセットを生成する。我々のモデルは人間の判断と信頼できる一致を実現し、精度と効率の両方を提供する。
論文参考訳（メタデータ） (2026-04-11T09:44:39Z)
Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文参考訳（メタデータ） (2026-01-07T14:59:03Z)
RAIR: A Rule-Aware Benchmark Uniting Challenging Long-Tail and Visual Salience Subset for E-commerce Relevance Assessment [26.73200625292998]
実世界のシナリオから派生した中国語データセットであるイメージ・フォー・レバレンス・アセスメント(RAIR)を用いたルール・アウェア・ベンチマークを提案する。 RAIRは、関連性評価のための標準化されたフレームワークを確立し、標準化された評価の基礎となる普遍的なルールのセットを提供する。我々は14のオープンソースモデルとクローズドソースモデルを用いてRAIR実験を行った。
論文参考訳（メタデータ） (2025-12-31T16:09:08Z)
U-Bench: A Comprehensive Understanding of U-Net through 100-Variant Benchmarking [13.41099918346476]
U-Netは、医療画像のセグメンテーションにおいて支配的なアーキテクチャであり、何千ものU字型の変種の開発に繋がった。広く採用されているにもかかわらず、パフォーマンスとユーティリティを体系的に評価する包括的なベンチマークはいまだに存在しない。 U-Benchは、28のデータセットと10の画像モダリティにまたがる100のU-Net変異を評価する、最初の大規模で統計的に厳密なベンチマークである。
論文参考訳（メタデータ） (2025-10-08T14:06:17Z)
From Rankings to Insights: Evaluation Should Shift Focus from Leaderboard to Feedback [36.68929551237421]
包括的できめ細かい結果を提供する評価フレームワークであるbftextFeedbackerを紹介します。プロジェクトのホームページとデータセットはhttps://liudan193.io/Feedbacker.comで公開されています。
論文参考訳（メタデータ） (2025-05-10T16:52:40Z)
GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
論文参考訳（メタデータ） (2024-10-14T11:29:38Z)
GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文参考訳（メタデータ） (2024-06-01T08:01:05Z)
Establishing a Unified Evaluation Framework for Human Motion Generation: A Comparative Analysis of Metrics [6.708543240320757]
本稿では,人体動作生成のための8つの評価指標について詳細に検討する。我々は一貫したモデル比較を容易にするため、統一的な評価設定を通じて標準化されたプラクティスを提案する。変形する多様性を分析して時間歪みの多様性を評価する新しい指標を提案する。
論文参考訳（メタデータ） (2024-05-13T12:10:57Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
On the Evaluation and Refinement of Vision-Language Instruction Tuning Datasets [71.54954966652286]
VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
論文参考訳（メタデータ） (2023-10-10T13:01:38Z)
Evaluating the Generation Capabilities of Large Chinese Language Models [27.598864484231477]
本稿では,CG-Evalについて紹介する。学術分野にまたがる大規模な中国語モデルの生成能力を評価する。 Gscoreは、参照標準に対するモデルのテキスト生成の品質測定を自動化する。
論文参考訳（メタデータ） (2023-08-09T09:22:56Z)
Our Evaluation Metric Needs an Update to Encourage Generalization [24.6240575061124]
一般的なベンチマークで人的パフォーマンスを上回るモデルでは、Out of Distributionデータへの露出によるパフォーマンスの大幅な低下が示される。本稿では,評価中の一般化を促す簡易で斬新な評価指標WOOD Scoreを提案する。
論文参考訳（メタデータ） (2020-07-14T08:15:19Z)
Benchmarking Graph Neural Networks [75.42159546060509]
グラフニューラルネットワーク(GNN)は、グラフ上のデータから分析および学習するための標準ツールキットとなっている。成功している分野が主流で信頼性を持つようになるためには、進捗を定量化するためにベンチマークを開発する必要がある。 GitHubリポジトリは1,800のスターと339のフォークに到達し、提案されているオープンソースフレームワークの有用性を実証している。
論文参考訳（メタデータ） (2020-03-02T15:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。