論文の概要: FormBench: A Benchmark for Fine-Grained Retrieval in Formulation Patents
- arxiv url: http://arxiv.org/abs/2610.30175v2
- Date: Sat, 24 Oct 2026 03:35:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.155606
- Title: FormBench: A Benchmark for Fine-Grained Retrieval in Formulation Patents
- Title（参考訳）: FormBench: 定式化特許における細粒度検索のベンチマーク
- Abstract要約: 技術文書から正確な化学情報を取得するためのモデルをテストするためのプラットフォームであるFormBenchを紹介する。
FormBenchには55,352のクエリと、それぞれ1Mのパスを持つ2つの検索コーパスがある。
商用APIエンコーダ(OpenAI,Voyage)、オープンソースエンコーダ(Nomic, GTE-large, Qwen3-Embed)、タスク適応微調整(TAPT)の10種類のモデル構成を評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce FormBench, a platform for testing the ability of models to retrieve precise chemical information from technical documents. FormBench contains 55,352 queries and two retrieval corpus variants each with ~1M passages: FormBench-Random (C0), with randomly sampled distractors, and FormBench-Structured (C1), with structurally proximate distractors. Each query is paired with an anchor passage, a hard negative, and a soft negative - derived from a materials ontology through entity overlap scoring, providing a deeper graded signal on a model's discriminatory power. We evaluate 10 model configurations spanning commercial API encoders (OpenAI, Voyage), open-source encoders (Nomic, GTE-large, Qwen3-Embed), and their task-adaptive fine-tuned (TAPT) variants. We find: (1) commercial APIs score very poorly across all configurations (OpenAI-3-large: 0.009 on C1, 0.213 on C0); (2) TAPT on FormBench triplets lifts Qwen3-Embed to 0.4085 on C1, 0.4835 on C0; (3) BM25 remains competitive (0.375 on C1, 0.467 on C0), exceeded only by TAPT-Qwen3; (4) corpus size has a significant impact on retrieval behavior, as demonstrated through a corpus-size ablation; (5) the API failure traces to within-domain geometric collapse; (6) APIs outperform even the TAPT variants on classification and clustering tasks. FormBench is released in BEIR-compatible format at huggingface.co/datasets/vinven7/FormBench under CC-BY-4.0.
- Abstract（参考訳）: 技術文書から正確な化学情報を取得するためのモデルをテストするためのプラットフォームであるFormBenchを紹介する。
FormBenchには55,352のクエリと2つの検索コーパスがあり、それぞれ1Mのパスを持つ:FormBench-Random (C0)、ランダムにサンプリングされたディスラプターを持つFormBench-Structured (C1)、構造的に近似的なディスラプターを持つFormBench-Structured (C1)。
各クエリにはアンカーパス、ハード負、ソフト負の – エンティティオーバーラップスコアリングによってオントロジーから派生した – が組み合わされ、モデルの識別力のより深いグレードの信号が提供される。
商用APIエンコーダ(OpenAI,Voyage)、オープンソースエンコーダ(Nomic, GTE-large, Qwen3-Embed)、タスク適応微調整(TAPT)の10種類のモデル構成を評価した。
1) 商用APIのスコアは,すべての構成(OpenAI-3-large: 0.009, C0: 0.213), (2) TAPT on FormBench triplets lifts Qwen3-Embed to 0.4085 on C1, 0.4835 on C0; (3) BM25は競争力(0.375, C1, 0.467, C0)に留まり,TAPT-Qwen3のみを超越している。
FormBenchはBEIR互換のフォーマットでリリースされ、CC-BY-4.0でface.co/datasets/vinven7/FormBenchをサポートする。
関連論文リスト
- ReFormBench: Benchmarking the Stability of Response-Conditioned Format Correction in Large Language Models [19.04924631972484]
ReFormBenchは、大規模言語モデルの信頼性の高い使用のためのベンチマークである。
ターゲットを機能と要求/禁止モードでリンクし、変種間でインスタンス化された要求を評価する。
論文 参考訳（メタデータ） (2026-10-14T07:16:36Z) - Architecture as Capability Equalizer for Coding Agents [0.8741110159894001]
LLMベースのコーディングエージェントは、ハイレベルな記述から完全なソフトウェアシステムを生成する。
情報的に等価な5つの仕様フォーマットの比較実験を行った。
90以上のマルチターンエージェント試行において、仕様フォーマットは強力なフォーマットxモデルの相互作用を示している。
論文 参考訳（メタデータ） (2026-08-22T03:04:12Z) - Models Can Model, But Can't Bind: Structured Grounding in Text-to-Optimization [54.749573452394664]
定式化自体が単純である場合でも、インスタンスデータが大きくなるにつれて精度が低下する。
我々は, 数値データを構造化ファイルに外部化する単純な推論時アプローチであるBINDを用いて, モデルがプロンプトプロンプトからではなく, データをバインドする。
我々は,モデルのみをバインディングのみに微調整することで仮説を検証し,3つの構造的に異なる最適化カテゴリにおいて,エンドツーエンドのSFTおよびRLよりも優れていることを示す。
論文 参考訳（メタデータ） (2026-05-20T21:25:41Z) - MolmoAct2: Action Reasoning Models for Real-world Deployment [67.6315757474802]
MolmoAct2は、実用的なデプロイメントのために構築された、完全にオープンなアクション推論モデルである。
空間的および具体的推論に特化した VLM バックボーンである MolmoER を紹介する。
低コストプラットフォームにまたがる3つの新しいデータセットをリリースする。
論文 参考訳（メタデータ） (2026-05-04T17:51:21Z) - React-ing to Grace Hopper 200: Five Open-Weights Coding Models, One React Native App, One GH200, One Weekend [0.40611352512781873]
我々は、NVIDIA GH200 576 GBハードウェア上の単一のReact Nativeアプリケーション生成タスクにおいて、最先端のオープンウェイトコーディング言語モデルとして、Kim-K2.5(Q3およびQ4量子化)、GLM-5.1、Qwen3-Coder-480B、DeepSeek-V3.2の5つを評価した。
SWE-Benchランキングはタスク性能を予測できない。
論文 参考訳（メタデータ） (2026-04-19T01:21:02Z) - MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale [92.09717763663873]
我々は、データエンジニアリングとトレーニング戦略設計を通じて、純粋に最先端の技術を進化させるMinerU2.5-Proを提案する。
コアとなるのは、カバレッジ、情報性、アノテーションの正確性を中心に設計されたData Engineだ。
我々は,MinerU2.5-Pro が OmniDocBench v1.6 上で 95.69 を達成することを示す。
論文 参考訳（メタデータ） (2026-04-06T15:44:18Z) - Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。
多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。
決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
論文 参考訳（メタデータ） (2026-03-08T00:31:34Z) - ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。
ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。
我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
論文 参考訳（メタデータ） (2026-02-06T23:27:17Z) - S*: Test Time Scaling for Code Generation [55.11863577956177]
コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。
S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
論文 参考訳（メタデータ） (2025-02-20T09:18:53Z) - Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。
Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-06-02T06:06:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。