論文の概要: Industrial-Instruction: An End-to-End Framework for Building Instruction-Tuning and Benchmark Datasets from Industrial Technical Reports
- arxiv url: http://arxiv.org/abs/2608.22817v1
- Date: Mon, 24 Aug 2026 05:28:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.899212
- Title: Industrial-Instruction: An End-to-End Framework for Building Instruction-Tuning and Benchmark Datasets from Industrial Technical Reports
- Title（参考訳）: インダストリアルインストラクション: インストラクションチューニングとベンチマークデータセット構築のためのエンド・ツー・エンドフレームワーク
- Abstract要約: 産業技術報告書には、メンテナンス、トラブルシューティング、製品工学に関する高価値な知識が含まれている。
このようなドキュメントから公開命令チューニングやベンチマークデータセットは構築されていない。
実際の産業技術レポートとそれを生成するエンドツーエンドパイプラインから構築された2つのオープンQAデータセットをコントリビュートします。
- 参考スコア（独自算出の注目度）: 1.806188080472605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Industrial technical reports contain high-value knowledge for maintenance, troubleshooting, and product engineering, but their heterogeneous structure (dense prose, specifications, tables) makes them difficult to index and reason over with standard retrieval and QA pipelines, and no public instruction-tuning or benchmark datasets are built from such documents. We address this gap with Industrial-Instruction, contributing (i) two open QA datasets built from real industrial technical reports and (ii) the end-to-end pipeline that produces them. Using 906 public Panasonic documents (7,525 pages), we apply layout-aware extraction, build a semantic retrieval index, and synthesize multiple-choice QA grounded in retrieved evidence under five query-document relationships (irrelevant retrieval, single-/multi-document support, single-/multi-document answer). After filtering an initial 23.9k generated samples, each dataset provides approximately 13.6k QA pairs with source documents and a held-out benchmark split. Fine-tuning small open LLMs (under 10B parameters) improves Set-Match Accuracy from 28.5% to 42.0% and F1 from 46.6% to 63.5% on the Panasonic benchmark. We release two parallel versions built by the same pipeline: one generated with the open-weight Qwen3-30B-A3B-Instruct model and one with the closed, API-based Claude-Opus-4.6 model, enabling a direct comparison of open- versus frontier-model data generation. The Claude-Opus-4.6 dataset yields a cleaner raw corpus and larger fine-tuning gains, at roughly two orders of magnitude higher cost. MMLU evaluation shows models trained on the Claude-Opus-4.6 data retain essentially all general knowledge, versus a small but measurable forgetting effect for the Qwen-generated data. Together, these datasets and pipeline offer a practical, reproducible path toward scalable industrial benchmarks and training data from real-world documentation.
- Abstract（参考訳）: 産業技術報告書には、メンテナンス、トラブルシューティング、製品エンジニアリングに関する高価値な知識が含まれているが、その異質な構造(散文、仕様、表)は、標準的な検索とQAパイプラインでインデックス化と推論を困難にしており、そのような文書から公開のインストラクションチューニングやベンチマークデータセットを構築することはない。
我々は、このギャップを産業教育で解決し、貢献する
一 実産業技術報告から構築した2つのオープンQAデータセット
(ii)それを生産するエンドツーエンドパイプライン。
906の公開パナソニック文書 (7,525ページ) を用いてレイアウト認識抽出を行い, セマンティック検索指標を構築し, 5つのクエリ文書関係(関連検索, シングル/マルチドキュメントサポート, シングル/マルチドキュメント応答)に基づいて, 検索された証拠に基づく複数選択QAを合成する。
初期の23.9kのサンプルをフィルタリングした後、各データセットはソースドキュメントとホールドアウトベンチマークスプリットで約13.6kのQAペアを提供する。
微調整の小さなLLM(10Bパラメータ)は、セットマッチの精度を28.5%から42.0%に改善し、F1は46.6%から63.5%に改善した。
オープンウェイトなQwen3-30B-A3B-インストラクトモデルとクローズドなAPIベースのClaude-Opus-4.6モデルで生成されたもので、オープンウェイトとフロンティアモデルのデータ生成を直接比較することができる。
Claude-Opus-4.6データセットは、よりクリーンな生コーパスとより大きな微調整ゲインを約2桁のコストで得る。
MMLU評価は、クロード・オプス4.6のデータに基づいて訓練されたモデルが、Qwen生成データに対して、ほとんどすべての一般的な知識を保持していることを示している。
これらのデータセットとパイプラインは、スケーラブルな産業ベンチマークへの実践的で再現可能なパスを提供し、実際のドキュメントからデータをトレーニングする。
関連論文リスト
- A Hybrid Vision-Language Architecture for Automated Defect Reasoning and Report Generation in Industrial Inspection [0.42970700836450487]
本稿では,風力タービン羽根試験用分離・エッジ展開可能なパイプラインについて述べる。
The EyesはY26-x-obb指向のバウンディングボックスで、データセットネイティブの解像度で欠陥をローカライズする。
ブリッジは決定論的でパラメータフリーな符号化モジュールであり、検出された各バウンディングボックスをグリッド参照トークンにマップする。
論文 参考訳（メタデータ） (2026-05-26T04:27:38Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale [92.09717763663873]
我々は、データエンジニアリングとトレーニング戦略設計を通じて、純粋に最先端の技術を進化させるMinerU2.5-Proを提案する。
コアとなるのは、カバレッジ、情報性、アノテーションの正確性を中心に設計されたData Engineだ。
我々は,MinerU2.5-Pro が OmniDocBench v1.6 上で 95.69 を達成することを示す。
論文 参考訳（メタデータ） (2026-04-06T15:44:18Z) - VAREX: A Benchmark for Multi-Modal Structured Extraction from Documents [1.06378109904813]
VAREXは政府形態からの構造化データ抽出を評価するためのベンチマークである。
ベンチマークは、1,777の文書と1,771のユニークな文書から成っており、3相品質保証を通じて真理を検証している。
結果は、4Bパラメータ以下では、コンプライアンス出力 -- 抽出能力ではなく -- が主要なボトルネックであることを示している。
論文 参考訳（メタデータ） (2026-03-16T11:15:56Z) - Engineering Reasoning and Instruction (ERI) Benchmark: A Large Taxonomy-driven Dataset for Foundation Models and Agents [1.629288881045104]
Engineering Reasoning and Instruction (ERI) ベンチマークは、工学能力のある大規模言語モデル(LLM)とエージェントをトレーニングし、評価するために設計された分類による命令データセットである。
このデータセットは、9つの工学分野(土木、機械、電気、化学、環境、航空宇宙、材料、火、産業工学)と55に及び、7つの目的タイプ(定義、説明、計算、比較、設計/合成、トラブルシューティング、コード関連)と3つの困難層(学部、卒業生、プロフェッショナル)にまたがる。
ERIは、分類仕様、検証スクリプト、評価ハーネスと共にリリースされている。
論文 参考訳（メタデータ） (2026-02-16T12:38:08Z) - OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。
ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
論文 参考訳（メタデータ） (2025-12-16T03:33:24Z) - Generating High-Quality Datasets for Code Editing via Open-Source Language Models [49.01026966779838]
我々は,リアルなコード編集三脚を合成するオープンソースのパイプラインであるOpenCodeEditを紹介する。
パイプラインは簡潔な"遅延"命令とより詳細な"記述"命令の両方を生成し、データ品質と多様性を保証するために差分とトピックに基づいたフィルタリングを適用する。
OCEDataFTの細調整された3つのベースモデルは、CanItEditベンチマークで大幅なパフォーマンス向上をもたらし、相対パス@1は4.50%から20.79%まで改善された。
論文 参考訳（メタデータ） (2025-09-19T03:57:39Z) - Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search [54.987957691350665]
クエリ駆動テキスト要約(QDTS)は、与えられたクエリに基づいてテキスト文書から簡潔で情報的な要約を生成することを目的としている。
従来の抽出的要約モデルは、主にランク付け候補の要約セグメントに基づいており、産業応用において支配的なアプローチとなっている。
産業Web検索におけるリアルタイムQDTSに対処するための生成モデルの適用を開拓するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-28T08:51:51Z) - MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。
SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
論文 参考訳（メタデータ） (2025-06-05T16:34:57Z) - LLMs to Support a Domain Specific Knowledge Assistant [0.0]
本研究は、国際金融報告基準(IFRS)を用いたサステナビリティレポートのためのドメイン固有知識アシスタントを開発するためのカスタムアプローチを提案する。
このドメインでは、公開可能なQAデータセットは存在せず、レポートを提供する企業をサポートするための高品質なパイプラインの開発を阻害している。
論文 参考訳（メタデータ） (2025-02-06T14:12:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。