論文の概要: When Harness Beats Scale, and When Reading Beats Both
- arxiv url: http://arxiv.org/abs/2609.34366v1
- Date: Mon, 28 Sep 2026 05:42:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 21:28:53.605314
- Title: When Harness Beats Scale, and When Reading Beats Both
- Title（参考訳）: Harnessがスケールを上回り、読書が両方を上回るとき
- Abstract要約: DocInsights 2026における文書化量的推論共有タスクDocSemについて,本システムについて述べる。
ラベル付きデータに成功し、テストセットで失敗した理由を分析します。
- 参考スコア（独自算出の注目度）: 1.2318267573115804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We describe our system for DocSem, the document-grounded quantitative reasoning shared task at DocInsights 2026, and analyze why it succeeded on labeled data and failed on the test set. The pipeline pairs hybrid block retrieval with Program-of-Thoughts (PoT) generation executed in a sandboxed interpreter, self-consistency sampling, and entity enrichment from chunk-level knowledge graphs. On our held-out split, application architecture moved the metrics far more than model scale did: PoT added 0.282 joint accuracy to a compact 7B model but at most 0.005 to a 72B model, and a 27B model with the full harness matched the 72B (0.884 vs.\ 0.873) at roughly 2.7$\times$ fewer parameters and a quarter of the CO$_2$. We read this through a distinction between world knowledge, which scales steeply with parameters, and language knowledge, which scales gently, and show that structured-output training makes a compact model harness-ready rather than merely small. On the raster, watermarked test PDFs the same system collapsed to 13.58\% joint (rank 149 of 163); a controlled re-rendering of the validation set reproduces the OCR half of the collapse while bounding what the simulation misses. Auditing the physical nature of evaluation inputs precedes architecture, and the leaderboard's bimodality is consistent with reading quality, not reasoning, having separated the field.
- Abstract（参考訳）: 本稿では,DocInsights 2026における文書化量的推論共有タスクDocSemについて述べるとともに,ラベル付きデータに成功してテストセットで失敗した理由を分析する。
パイプラインは、サンドボックスインタプリタで実行されるProgram-of-Thoughts(PoT)ジェネレーション、自己一貫性サンプリング、チャンクレベルの知識グラフからのエンティティエンリッチメントと、ハイブリッドブロック検索をペアリングする。
PoTは、コンパクトな7Bモデルに0.282のジョイント精度を加えたが、72Bモデルには少なくとも0.005、フルハーネスを備えた27Bモデルは72B(0.884対)と一致した。
0.873)の約2.7$\times$より少ないパラメータとCO$_2$の4分の1である。
我々はこれを、パラメータで急激にスケールする世界知識と、優雅にスケールする言語知識の区別を通じて読み、構造化アウトプットトレーニングが単に小さくするのではなく、コンパクトなモデルハーネスレディを実現することを示す。
ラスター上では、ウォーターマークされたテストPDFは同じシステムが13.58\%の関節(163のランク149)に崩壊し、制御された検証セットの再レンダリングは、シミュレーションが見逃すものの境界を保ちながら、崩壊の半分のOCRを再現する。
評価入力の物理的性質を監査することは、アーキテクチャに先行し、リーダーボードのバイモーダリティは、分野を分離した推論ではなく、読書品質と一致している。
関連論文リスト
- AcroMELD: Recovering Interactive PDF Forms with Structure-Aware Graph Set Transformers [0.0]
AcroMELD (AcroForm Multi-source Evidence Linking Decoder) は、ラベルのないPDFプリミティブを持つ高解像度のビジュアルトランスフォーマーである。
4つのグラフ集合層は、幾何学的に偏ったスパース近傍とPDF構造に交差する位置の情報を交換する。
我々は,不確定な開発,校正,内部テスト,隔離された外部保持機能を備えたハッシュバウンド評価プロトコルを定義する。
論文 参考訳（メタデータ） (2026-08-23T10:12:22Z) - Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
既存の忠実度ベンチマークは単純な原子命令に依存している。
本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。
本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
論文 参考訳（メタデータ） (2026-06-30T14:17:05Z) - Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline [0.8481798330936975]
これまでで最大の注釈付きcuneiform signデータセットを使用し、Deformable Detection Transformer(DETR)ベースのオブジェクト検出モデルを評価する。
提案システムでは, 自動タブレット側抽出, ライングルーピング, n-gram によるテキスト類似性評価と, 視覚的手話検出とテキスト構造を統合した。
推測では、Electronic Babylonian Library (eBL) コーパスの87,668個のタブレットフラグメントに適用され、約290万のサイン検出が可能である。
論文 参考訳（メタデータ） (2026-06-21T17:31:05Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - A Hybrid Vision-Language Architecture for Automated Defect Reasoning and Report Generation in Industrial Inspection [0.42970700836450487]
本稿では,風力タービン羽根試験用分離・エッジ展開可能なパイプラインについて述べる。
The EyesはY26-x-obb指向のバウンディングボックスで、データセットネイティブの解像度で欠陥をローカライズする。
ブリッジは決定論的でパラメータフリーな符号化モジュールであり、検出された各バウンディングボックスをグリッド参照トークンにマップする。
論文 参考訳（メタデータ） (2026-05-26T04:27:38Z) - Improving Layout Representation Learning Across Inconsistently Annotated Datasets via Agentic Harmonization [1.1549572298362782]
学習前にカテゴリ意味と境界ボックスの粒度を照合する視覚言語モデルを提案する。
文書のレイアウト検出を困難なケーススタディとして評価する。
論文 参考訳（メタデータ） (2026-04-13T06:14:20Z) - MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale [92.09717763663873]
我々は、データエンジニアリングとトレーニング戦略設計を通じて、純粋に最先端の技術を進化させるMinerU2.5-Proを提案する。
コアとなるのは、カバレッジ、情報性、アノテーションの正確性を中心に設計されたData Engineだ。
我々は,MinerU2.5-Pro が OmniDocBench v1.6 上で 95.69 を達成することを示す。
論文 参考訳（メタデータ） (2026-04-06T15:44:18Z) - MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。
ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
論文 参考訳（メタデータ） (2026-01-15T15:15:53Z) - Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。
Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
論文 参考訳（メタデータ） (2025-08-18T21:58:18Z) - LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document
Understanding [49.941806975280045]
テキストとレイアウトの事前トレーニングは、視覚的に豊富な文書理解タスクで有効であることが証明されています。
テキスト,レイアウト,イメージをマルチモーダルフレームワークで事前学習することで,テキスト-bfLMv2を提示する。
論文 参考訳（メタデータ） (2020-12-29T13:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。