論文の概要: A Strong Harness Narrows the Model Gap: A Comparative Evaluation for Legislative Document-to-XML Conversion

• arxiv url: http://arxiv.org/abs/2610.19999v1
• Date: Wed, 14 Oct 2026 11:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.120561
• Title: A Strong Harness Narrows the Model Gap: A Comparative Evaluation for Legislative Document-to-XML Conversion
• Title（参考訳）: モデルギャップを狭める強いハーネス: 法的文書からXMLへの変換の比較評価
• Abstract要約: 本稿では、米国の州法を厳密でスキーマに制約されたXMLに変換する産業用パイプラインについて報告する。 制御されたアブレーションは、3つのハーネス(ゼロショット、ツール使用エージェント、マルチエージェントパイプライン)を渡り、2つの管轄区域から153枚の金紙幣にクロードモデル3つを配置する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Legal-content reproduction requires matching the source exactly in section hierarchy, verbatim text, citations, and amendment spans; a dropped citation or mislabeled amendment carries into the products lawyers rely on. We report an industrial pipeline converting U.S. state legislation into strict, schema-constrained XML, and hypothesize that its accuracy comes from harness engineering, the deterministic tooling built around a model, more than the model itself. Our controlled ablation crosses three harnesses (zero-shot, a single tool-using agent, and a decomposed multi-agent pipeline) with three Claude models on 153 gold bills from two jurisdictions. The harness narrows the model gap: the weakest model in the full pipeline beats the strongest model alone (0.948 versus 0.806, paired bootstrap p less than 0.001). Because the two agentic harnesses share identical tools, their gap comes from orchestration: decomposition plus the persisted state and per-agent context it brings. Across four scored dimensions, the model spread at zero-shot (0.68 to 0.81) narrows to 0.95 at the full pipeline; the residual sits almost entirely in citation normalization, where the canonical identifier is retrieved from an external authority rather than generated from the weights, so a deterministic lookup tool supplies the exactness that a larger model does not.
• Abstract（参考訳）: 法的内容の再現は、セクション階層、動詞テキスト、引用、修正の範囲のソースを正確にマッチングする必要がある。 我々は、米国の州法を厳密でスキーマに制約のあるXMLに変換する産業用パイプラインを報告し、その正確性はモデル自体よりもモデルを中心に構築された決定論的ツールであるハーネスエンジニアリングに由来すると仮定する。 制御されたアブレーションは、3つのハーネス(ゼロショット、単一のツール使用エージェント、分解されたマルチエージェントパイプライン)を渡り、2つの管轄区域から153枚の金紙幣にクロードモデル3つを配置する。 ハーネスはモデルギャップを狭め、フルパイプラインで最も弱いモデルは最強のモデル(0.948対0.806、ペアのブートストラップ p は 0.001 未満)に勝る。 2つのエージェントハーネスは同じツールを共有しているため、そのギャップはオーケストレーションから生じている。 モデルがゼロショット(0.68から0.81)で広がると、全パイプラインで0.95に縮小するが、残余はほとんどが引用正規化中にあり、そこでは標準識別子は重みから生成されるのではなく外部の権威から取得されるので、決定論的ルックアップツールはより大きなモデルではできない正確さを提供する。

関連論文リスト

• Mingbird: A Local-First Agent Harness Enabling Small Open Models to Complete Real Tasks [5.632168383670357]
  小型のオープンウェイトモデル(2-9B)は普通のラップトップ上で動作しますが、クラウドスケールのエージェントで実際のタスクを完了することはめったにありません。 これらの失敗のかなりの割合は、モデルよりもハーネスに起因していることを示す。 我々は,Windows と Ollama 用のローカルファーストエージェントハーネスである Mingbird を紹介した。
  論文  参考訳（メタデータ） (2026-10-01T16:32:07Z)
• Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
  ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-09-21T16:48:50Z)
• SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics [15.233613140316791]
  SemVerBenchは、3つのエコシステムにわたるバージョン制約解決セマンティクスの最初のベンチマークである。 6つのフロンティアモデルを評価し,統計的に有意な自己評価は得られなかった。 タスクが検証可能で、100%正しいリゾルバが存在するため、ツールデリゲートは100%に達する。
  論文  参考訳（メタデータ） (2026-09-10T07:34:44Z)
• One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions [0.0]
  APIアグリゲータ、再販業者、推論プロバイダは、大きな言語モデル(LLM)を使用する。 既存の識別技術には、長いテキスト、トークンレベルのログ確率、反対に作られたプロンプト、またはモデル所有者の協力が必要である。 我々は,LLMの行動指紋を,自明なワンワードプロンプトに対する応答の実証的分布として定義する。
  論文  参考訳（メタデータ） (2026-07-11T10:34:17Z)
• CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
  本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。 我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
  論文  参考訳（メタデータ） (2026-06-23T02:56:48Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
  CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。 トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。 利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:35:31Z)
• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)
• Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
  一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。 我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。 Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
  論文  参考訳（メタデータ） (2025-08-05T16:28:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。