論文の概要: OenoBench: A Wine-Domain Benchmark for Knowledge-Grounded Evaluation of Large Language Models
- arxiv url: http://arxiv.org/abs/2608.20106v1
- Date: Thu, 20 Aug 2026 14:37:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.599589
- Title: OenoBench: A Wine-Domain Benchmark for Knowledge-Grounded Evaluation of Large Language Models
- Title（参考訳）: OenoBench: 大規模言語モデルの知識収集評価のためのワインドメインベンチマーク
- Abstract要約: OenoBenchは、6つの柱(地域、ブドウ品種、ブドウ栽培、ワイン製造、生産者、事業)にまたがる3,266の複数選択質問のワインドメイン知識ベンチマークである。
コーパスは、政府登録簿(INAO、TB、OIV)、査読されたジャーナル、ウィキペディア/ウィキデータから35の証明済みのスクレーカーによって抽出された38,104の原子的、情報源による事実から作られている。
すべてのクレームはURLに遡り、すべての質問は5つのジェネレータファミリーの5つの戦略のうちの1つによって生成される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce OenoBench, a wine-domain knowledge benchmark of 3,266 multiple-choice questions across six pillars (regions, grape varieties, viticulture, winemaking, producers, business) and four difficulty tiers. The corpus is built from 38,104 atomic, source-anchored facts extracted by 35 provenance-verified scrapers from government registries (INAO, TTB, OIV), peer-reviewed journals, and Wikipedia/Wikidata. Our methodological contribution is an LLM-driven pipeline in which language models reformat verified facts and audit the result, but never serve as the source of truth: every claim traces to a URL, every question is generated by one of five strategies across five generator families, and every question is scored by a nine-agent audit calibrated against a human gold sheet via Cohen's $κ$. Evaluating sixteen frontier configurations, we find: (i) overall accuracy spans 53%-84%, led by o3 at 83.6%; (ii) reasoning-mode lift concentrates in DeepSeek R1 (+6.8pp) and is absent in Claude Opus and Gemini Pro; (iii) Anthropic shows +9pp self preference on its own questions while Google shows -8pp inverse preference; (iv) frontier open-weight models share the cost-vs-accuracy Pareto frontier with proprietary reasoning models; and (v) every config gains around 33pp on closed-book solvable items, revealing a parametric-recall ceiling that only the contextual slice avoids. We release corpus, audit findings, human-review app, and construction code under CC-BY-SA-4.0.
- Abstract（参考訳）: OenoBenchは6つの柱(地域、ブドウ品種、ブドウ栽培、ワイン生産、生産者、事業)と4つの難易度からなる3,266の複数選択質問のワインドメイン知識ベンチマークである。
コーパスは、政府登録簿(INAO、TB、OIV)、査読されたジャーナル、ウィキペディア/ウィキデータから35の証明済みのスクレーカーによって抽出された38,104の原子的、情報源による事実から作られている。
我々の方法論的貢献は、言語モデルが検証された事実を改定し、その結果を監査するLLM駆動パイプラインである。全てのクレームはURLを辿り、全てのクレームは5つのジェネレータファミリーの5つの戦略のうちの1つによって生成され、全てのクレームはコーエンの$κ$を介して人間のゴールドシートに対して校正された9人の監査によってスコア付けされる。
16のフロンティア構成を評価すると、次のようになる。
(i)全体の精度は53%～84%で、o3は83.6%である。
(ii)DeepSeek R1(+6.8pp)に集中し、Claude OpusとGemini Proでは欠落している。
(iii)Googleが8ppの逆選好を見せているのに対し、Arthhropicは+9ppの自己選好を表示している。
(iv)フロンティアのオープンウェイトモデルは、コストvs精度のParetoフロンティアとプロプライエタリな推論モデルを共有する。
(v) クローズドブックの解決可能なアイテムでは,各構成が約33pp上昇し,コンテキストスライスのみを回避するパラメトリックリコール天井が現れる。
CC-BY-SA-4.0の下で,コーパス,監査所見,人間レビューアプリ,建設コードをリリースする。
関連論文リスト
- Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。
54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。
私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
論文 参考訳（メタデータ） (2026-09-03T16:26:20Z) - Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG [45.88028371034407]
マルチモーダル検索拡張生成(RAG)はクリーンなエビデンスで評価されることが多いが、真の検索は、トポロジー的に関係があるが信頼できないコンテンツを返すことができる。
本稿では,多文事実QAにおけるマルチモーダル検索汚染のベンチマークであるQIMG-7を紹介する。
そこで本研究では,Parametric, Text-only, Full-MM の候補解と比較した学習自由な手法として,SATRを提案する。
論文 参考訳（メタデータ） (2026-07-12T15:13:09Z) - ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers [77.95933562142014]
ITPEvalは、4つの主要なIPP間で自動形式証明翻訳を評価するための最初のベンチマークである。
itpevalは、状態が分離されたウォームバックエンドを備えた、統合されたマルチITP認証インフラストラクチャです。
論文 参考訳（メタデータ） (2026-07-07T22:05:55Z) - InvestPhilBench: A Multi-Layer Dynamic Benchmark for Evaluating Large Language Model Procedural Reasoning in Expert Investment Philosophy [0.9924185669370708]
InvestPhilBenchは8つの認知層にまたがる動的ベンチマークである。
v0.6リリースには118のプライマリソース認証投資原則カードが含まれている。
大規模な再現可能なスコア付けには、Benchmark Automated Scoring Pipelineを紹介します。
論文 参考訳（メタデータ） (2026-06-24T15:53:20Z) - Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search [44.70501115891534]
不均一な4-Expert Mixture-of-Experts (MoE4) のための自動探索パイプラインを提案する。
パイプラインは197バッチで4,463の候補モデルを生成し、1,021が成功した。
キャンペーンから重要な発見が現れた:イタトールによるアルファベット順列挙による。
論文 参考訳（メタデータ） (2026-06-21T13:43:27Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir [0.0]
本稿では,大規模な言語モデルをBashkir言語に適応させるタスクに適用する,パラメータ効率のよい微調整手法の比較検討を行う。
各種アーキテクチャのモデルを用いた71k文書(46.9Mトークン)のBashkirテキストコーパスで実験評価を行った。
論文 参考訳（メタデータ） (2026-05-06T14:14:35Z) - Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation [0.0]
テストモデルとEpoch AI能力指数の同時フロンティアを比較した。
これらの回答のギャップは、+5.53 ECI/年で拡大している。
提案されている改善には、APIアクセス助成金と報告フレームワークの編集執行が含まれる。
論文 参考訳（メタデータ） (2026-05-05T17:58:35Z) - GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。
実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。
GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
論文 参考訳（メタデータ） (2026-04-10T18:13:55Z) - Bielik-Q2-Sharp: A Comparative Study of Extreme 2-bit Quantization Methods for a Polish 11B Language Model [0.0]
ポーランド語大言語モデルに適用された極端2ビット量子化の最初の体系的学術評価であるBielik-Q2-Sharpを提案する。
我々は、QuIP#、SpinQuant+GPTQ、ButterflyQuant、QTIP、VPTQ、AQLMの6つの最先端のポストトレーニング量子化手法を比較した。
私たちのベストバリアント(QuIP# E8P12)は22のポーランドのベンチマークで71.92%、IQ2_XXSベースラインでは72.07%を達成しています。
論文 参考訳（メタデータ） (2026-03-04T15:19:35Z) - AI Transparency Atlas: Framework, Scoring, and Real-Time Model Card Evaluation Pipeline [2.1787849426740364]
我々は5つのフロンティアモデル(Gemini 3, Grok 4.1, Llama 4, GPT-5, Claude 4.5)と100台のHugging Faceモデルカードからドキュメントを分析した。
安全クリティカルな開示を優先する8つのセクションと23のサブセクションからなる重み付き透明性フレームワークを開発した。
論文 参考訳（メタデータ） (2025-12-13T19:48:44Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。