論文の概要: ClosureBench: A Constructive Benchmark for Compositional Graph Reasoning

• arxiv url: http://arxiv.org/abs/2608.18242v1
• Date: Tue, 18 Aug 2026 18:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.184475
• Title: ClosureBench: A Constructive Benchmark for Compositional Graph Reasoning
• Title（参考訳）: ClosureBench: 合成グラフ推論のための構成ベンチマーク
• Abstract要約: ClosureBenchはグラフ関係推論のための構築的なベンチマークである。 証明済みの真実だ 1.5Bのオープンウェイトからフロンティアシステムへのモデルの評価を行った。
• 参考スコア（独自算出の注目度）: 1.827510863075184
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce ClosureBench, a constructive benchmark for compositional graph-relational reasoning with programmatically verified ground truth. Unlike fixed-test-set benchmarks vulnerable to data contamination, ClosureBench generates instances on demand: each task's reference answer is computed by executing a program in the Ein tensor-logic language, ensuring machine-verified correctness. The benchmark spans 26 task categories at three compositional levels (L1-L3), with difficulty controlled along three independent axes: graph size, edge density, and query depth. We evaluate models from 1.5B open weights to frontier systems (o3, GPT-4.1, Gemini 2.5, Claude Sonnet 4) and report three findings. First, because the benchmark can always supply fresh instances, it measures memorisation directly: a model fine-tuned on a fixed test set shows a 19.3 percentage-point gap between its accuracy on seen and on fresh instances, which a static test set cannot reveal. We scope this to supervised fine-tuning on answer pairs, not pretraining contamination. Second, accuracy falls as graph size and query depth increase, and the two interact: models misread the graph from its natural-language description and then reason correctly over the wrong graph, so even the strongest frontier model degrades from atomic to compositional queries. This bottleneck is a property of the reasoning rather than the input format: it persists when the graph is given as a JSON edge list or an adjacency matrix instead of prose. Third, a 4B model fine-tuned to emit executable programs rather than answers stays nearly flat across compositional levels and approaches frontier accuracy (94.3% on held-out instances) at a fraction of the token cost. This holds for two program targets, Ein and Python+NetworkX, so it is a property of verified program synthesis rather than of one language.
• Abstract（参考訳）: 本稿では,ClosureBenchについて述べる。 データ汚染に弱い固定テストセットベンチマークとは異なり、CllosureBenchはオンデマンドでインスタンスを生成する。各タスクの参照応答はEinテンソル論理言語でプログラムを実行することで計算され、マシン検証された正しさが保証される。 ベンチマークは、26のタスクカテゴリを3つのコンポジションレベル(L1-L3)でカバーし、グラフサイズ、エッジ密度、クエリ深さの3つの独立した軸に沿って制御するのが困難である。 1.5Bのオープンウェイトからフロンティアシステム(o3, GPT-4.1, Gemini 2.5, Claude Sonnet 4)へのモデル評価を行い, 3つの知見を報告する。 まず、ベンチマークは常に新しいインスタンスを供給できるため、暗記を直接測定する: 固定されたテストセットで微調整されたモデルでは、その精度と新しいインスタンスで19.3ポイントの差が示され、静的なテストセットでは明らかにできない。 我々は、汚染の事前訓練ではなく、回答ペアの微調整を監督するためにこれをスコープする。 2つ目は、グラフのサイズとクエリの深さが増加するにつれて精度が低下し、2つのモデルが相互作用することです。 このボトルネックは、入力フォーマットではなく、推論の特性である。グラフがJSONエッジリストや、散文ではなく隣接行列として与えられるとき、永続化される。 第3に、答えではなく実行可能なプログラムを出力するように微調整された4Bモデルは、構成レベルにわたってほぼ平坦であり、トークンコストのごく一部でフロンティア精度(ホールドアウトインスタンスでは94.3%)にアプローチする。 これはEinとPython+NetworkXの2つのプログラムターゲットに当てはまるため、1つの言語ではなく、検証済みのプログラム合成の特性である。

関連論文リスト

• Can We Do Interpretable NLI with Graphs Based on Atomic Propositions? [2.6043470516146225]
  本稿では,解釈可能なグラフベースのエビデンス表現のみを用いて自然言語推論を行うことができるかどうかを考察する。 完全なグラフベースのパイプラインを導入し、分類器は入力テキストを直接処理しない。 SNLIデータセットでは、当社のパイプラインは89.7%の精度で、同じトレーニング済みのテキストベースモデルよりわずか1.9ポイント低い。
  論文  参考訳（メタデータ） (2026-09-15T08:20:20Z)
• GTA: Graph Theory Agent and Benchmark for Algorithmic Graph Reasoning with LLMs [50.68372832207766]
  Graph Theory Bench (GT Bench) は、44のタスク構造設定において24の古典的なグラフ問題をカバーするベンチマークである。 GT Benchは、精度が入力表現と強く結びついていることを示している。 本稿では,選好学習された表現セレクタと計画と分解の足場を組み合わせたグラフ理論エージェント(GTA)を提案する。
  論文  参考訳（メタデータ） (2026-09-10T22:50:10Z)
• Graph Evidence Is Not Enough: Diagnosing Native Decoder Use in Graph-Augmented LLMs [23.31472184486587]
  グラフ拡張された大きな言語モデルは、しばしば、外部計算によって生成されたグラフ証拠をネイティブデコーダで使用することができると仮定する。 グラフエビデンスを提供することは、使用可能にすることとは同じではないことを示す。 診断駆動インタフェース設計がネイティブデコーダのユーザビリティを向上させることを示す例として,S$2$GEを挙げる。
  論文  参考訳（メタデータ） (2026-08-31T08:27:01Z)
• More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning [0.0]
  本稿では,ローカルにホストされたLCMを数学的推論に基づいて評価するための制御された文書化手法を提案する。 固定推論設定、階層的な回答抽出と検証、明示的な失敗モード分類、要求毎のリソース測定を組み合わせる。 予備的な知見は、精度だけでは局所モデルを選択するのに不十分な基礎であることを示している。
  論文  参考訳（メタデータ） (2026-08-22T17:24:28Z)
• Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models [26.262278539931632]
  グラフ推論は、大きな言語モデル(LLM)の推論能力を評価するための有望なテストベッドを提供する。 既存のグラフ推論ベンチマークは、データ複雑さのカバー範囲が限られており、手作業による構築に大きく依存している。 複雑なグラフ推論ベンチマークを構築するための5段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-02T22:02:04Z)
• SDR: Set-Distance Rewards for Radiology Report Generation [2.2462804525190427]
  生成した埋め込みと参照埋め込みの間の集合間距離を連続的、置換不変な報酬として提案する。 2つのデータセットと3つのビジョン言語モデルにまたがって、GRPOによるセットからセットまでの距離に基づく報酬による後トレーニングは、教師付き微調整よりも一貫して優れています。 同じ設定距離はテストタイムのベスト・オブ・N$選択を可能にする。
  論文  参考訳（メタデータ） (2026-05-30T00:10:51Z)
• ChartVerse: Scaling Chart Reasoning via Reliable Programmatic Synthesis from Scratch [57.01439313241121]
  グラフの複雑さを定量化する新しい指標であるRollout Posterior Entropy(RPE)を紹介する。 また、推論厳密性を保証するために、真正対応の逆QA合成を開発する。 さらに, モデルフェールレートに基づく試料をろ過し, 高品質なCoT (Chain-of-Thought) 推算を行った。
  論文  参考訳（メタデータ） (2026-01-20T05:11:44Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• Losing the Plot: How VLM responses degrade on imperfect charts [11.071294641688496]
  視覚言語モデル(VLM)は、チャート理解において強力な結果を示すが、既存のベンチマークでは、明確な数字と事実に基づくクエリを仮定している。 我々はChatGPT 4o, Claude Sonnet 4, Gemini 2.5 Proを評価し, 汚損や隠蔽下での急激な性能低下を見出した。 重要なイノベーションは、モデルが同じ声明を確認または否定するよう求められたときに矛盾する、逆の矛盾を早急に起こすことだ。
  論文  参考訳（メタデータ） (2025-09-22T21:12:20Z)
• Practical and Accurate Local Edge Differentially Private Graph Algorithms [11.49857418691547]
  我々は、kコア分解と三角形カウントという2つの基本グラフ統計量に対して、新しい LDP アルゴリズムを導入する。 提案手法は、入力依存のプライベートグラフ特性、特にグラフの退化性と最大度を活用して、理論的有用性を向上させる。 我々のkコア分解は正確な値の3倍以内の誤差を達成し、Dhulipalaなどのベースラインで131倍の誤差をはるかに上回っている。
  論文  参考訳（メタデータ） (2025-06-25T20:54:07Z)
• Does It Run and Is That Enough? Revisiting Text-to-Chart Generation with a Multi-Agent Approach [7.613758211231583]
  大規模な言語モデルでは、自然言語チャートの記述を実行可能なコードに変換することができるが、生成したスクリプトの約15%はまだ実行できない。 本稿では,既製のGPT-4o-miniモデルのみを用いて,ドラフト,実行,修理,判断を分離する軽量マルチエージェントパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-06T15:39:17Z)
• Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs [49.547988001231424]
  効率的かつ適応的な予測を実現するために,ワンショットサブグラフリンク予測を提案する。 設計原理は、KG全体に直接作用する代わりに、予測手順を2つのステップに分離する。 5つの大規模ベンチマークにおいて,効率の向上と性能の向上を実現している。
  論文  参考訳（メタデータ） (2024-03-15T12:00:12Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。