論文の概要: The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark

• arxiv url: http://arxiv.org/abs/2605.09900v1
• Date: Mon, 11 May 2026 02:44:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.478862
• Title: The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark
• Title（参考訳）: VLMのためのゴーディアン結び目:ハードベンチマークとしてのダイアグラム的結び目
• Abstract要約: ノットベンチは1,951個の素結びのプロトタイプから858,318イメージのコーパスを合成する。 14のタスクは、等価判断、移動予測、識別、およびクロスモーダルグラウンドの4つのファミリーにまたがる。 両ベンダで64Kのアウトプット・トケンが一致した予算の下で、クロード・オプス4.7とGPT-5をそれぞれ検討し、評価した。
• 参考スコア（独自算出の注目度）: 5.223799635449313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A vision-language model can look at a knot diagram and report what it sees, yet fail to act on that structure. KnotBench pairs an 858,318-image corpus from 1,951 prime-knot prototypes (crossing numbers 3 to 19) with a protocol whose answers are checked against Regina's canonical knot signature. Its 14 tasks span four families, equivalence judgment, move prediction, identification, and cross-modal grounding; an image-versus-symbol split locates failures along the perception-operation gap. We score Claude Opus 4.7 and GPT-5, each with and without thinking, under a 64K output-token budget matched on both vendors. Across 56 (task, model) cases, 15 sit at or below a random baseline and 8 of 14 tasks have a best score under 1.5x random. On diagram-to-symbol transcription, no model produces a strictly correct string, and permissive Regina decoding recovers the knot in 0 to 4 of 100 items. Thinking-mode reasoning lifts overall accuracy by 1.65 points for Claude and 9.25 points for GPT-5, narrowing the gap only modestly. Read together, the four families suggest current vision-language models hold features of a diagram but lack apparatus to simulate moves on those features.
• Abstract（参考訳）: 視覚言語モデルは結び目図を見て、それが見ていることを報告できるが、その構造に作用しない。 KnotBench は 1,951 個の素結び目プロトタイプ (3 から 19 にまたがる) から 858,318 個の画像コーパスを、Regina の標準結び目シグネチャに対して答えをチェックするプロトコルと組み合わせている。 その14のタスクは、同値判定、移動予測、識別、およびクロスモーダルグラウンドリングの4つのファミリーにまたがる。 我々は2つのベンダーで64Kのアウトプット・トーケンの予算が一致した状態で、Claude Opus 4.7 と GPT-5 をそれぞれ得点した。 56件(タスク、モデル)のケースでは、15件がランダムベースライン以下で、14タスクのうち8件が1.5倍以下でベストスコアを獲得している。 図から記号への転写では、厳密な正しい文字列を生成するモデルはなく、許容レジーナ復号によって100項目中0から4項目の結び目が復元される。 思考モード推論はクロードが1.65点、GPT-5が9.25点、ギャップがわずかに狭くなる。 4つのファミリーは、現在の視覚言語モデルは図の特徴を持っているが、それらの特徴をシミュレートする装置がないことを示唆している。

関連論文リスト

• GTA: Graph Theory Agent and Benchmark for Algorithmic Graph Reasoning with LLMs [50.68372832207766]
  Graph Theory Bench (GT Bench) は、44のタスク構造設定において24の古典的なグラフ問題をカバーするベンチマークである。 GT Benchは、精度が入力表現と強く結びついていることを示している。 本稿では,選好学習された表現セレクタと計画と分解の足場を組み合わせたグラフ理論エージェント(GTA)を提案する。
  論文  参考訳（メタデータ） (2026-09-10T22:50:10Z)
• Can Scene Text Recognition Read Rare Compositions? [1.7844382164707184]
  6つの標準ベンチマークにおいて、シーンテキスト認識は89-97%正確であると報告され、その問題が飽和として広く扱われている。 私たちは代替の読書を提示する。 同じテスト画像が、基準コーパスに対して、接地的単語の規則性と文字n-gramの新規性によって共同で成層されると、結果の5x5グリッドのレアワードxレアトリグラムコーナーでの精度は、q3/q3センタより10〜18pt下方に低下する。
  論文  参考訳（メタデータ） (2026-09-01T07:16:42Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training [0.0]
  オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。 FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。 同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
  論文  参考訳（メタデータ） (2026-08-20T21:14:52Z)
• TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation [74.69068352546073]
  TRACE-Benchは、多様な芸術的スタイルと現実世界の主題にまたがるマルチ参照画像の評価ツールである。 631の定式テンプレートと、様々な芸術様式と現実世界の主題にまたがる約4,000の参照画像で構成されている。 その公式構造は、演算子整合性評価プロトコルを駆動し、可視性スコアリングと診断木解析を行う。
  論文  参考訳（メタデータ） (2026-08-17T16:15:50Z)
• Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
  私たちは検出器を構築し、その証拠として属性マップを添付します。 私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。 属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
  論文  参考訳（メタデータ） (2026-07-31T16:07:05Z)
• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns [0.0]
  我々は、すでにトレーニング不要でアーキテクチャ全般的な機能ベースを提供しているトランスフォーマー隠蔽状態の標準基底を示す。 このBag of Dimsフレームワークを、言語にまたがる7つのモデルで検証する。
  論文  参考訳（メタデータ） (2026-06-10T19:34:31Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference [1.2299000423193074]
  TokenArenaは、5つのコア軸に沿って粒度エンドポイントでの推論を測定する連続ベンチマークである。 フレームワーク、スキーマ、プローブ、evalハーネス、v1.0のリーダボードスナップショットをCC BY 4.0でリリースしています。
  論文  参考訳（メタデータ） (2026-05-01T00:05:54Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)
• Knot-10:A Tightness-Stratified Benchmark for Real-World Knot Classification with Topological Difficulty Analysis [0.0]
  我々はKnots-10ベンチマークを導入し、配置指向の分割で1,440枚の画像で構成され、ゆるく結びついた結び目でトレーニングし、タイトな服装でテストする。 Swin-T と TransFG はどちらも平均97.2%の精度であり、PMG は94.5%であり、ジグソーシャッフルが連続性を阻害するという仮説と一致している。 分類精度を向上することなく埋め込みトポロジーアライメントを改善するTACA正則化を提案する。
  論文  参考訳（メタデータ） (2026-03-24T14:50:34Z)
• BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
  大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。 BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
  論文  参考訳（メタデータ） (2026-03-16T02:50:43Z)
• SyncThink: A Training-Free Strategy to Align Inference Termination with Reasoning Saturation [11.021989271617835]
  我々は、モデルの重みを変更することなく、Chain-of-Thoughtオーバーヘッドを低減する、トレーニングフリーでプラグイン・アンド・プレイのデコーディング手法SyncThinkを提案する。 答えトークンは、初期の推論に弱い従属し、代わりに情報ボトルネックを示す特別なトークン"/think"に注目します。 GSM8K、MMLU、GPQA、BBHを3つのDeepSeek-R1蒸留モデルで実験した結果、SyncThinkの平均Top-1精度は62.00%であることがわかった。
  論文  参考訳（メタデータ） (2026-01-07T07:00:15Z)
• UniTok: A Unified Tokenizer for Visual Generation and Understanding [63.23796622553615]
  視覚生成および理解モデルは通常、画像を処理するために異なるトークン化器に依存する。 我々は、新しいマルチコードブック量子化機構を備えた統一トークン化システムUniTokを紹介する。 最終的なパフォーマンスに関しては、UniTokはImageNetで0.38 rFIDと78.6%のゼロショット精度で新記録を樹立した。
  論文  参考訳（メタデータ） (2025-02-27T17:47:01Z)
• Rho-1: Not All Tokens Are What You Need [132.31428897792114]
  以前の言語モデル事前学習手法は、すべてのトレーニングトークンに次トーケン予測損失を均一に適用した。 Rho-1 は選択言語モデリング (SLM) を採用しており、所望の分布に合わせて有用なトークンを選択的に訓練する。 15B OpenWebMathコーパスで継続事前トレーニングを行うと、Rho-1は9つの数学タスクで最大30%のショット精度で絶対的に改善する。
  論文  参考訳（メタデータ） (2024-04-11T17:52:01Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• SimMatchV2: Semi-Supervised Learning with Graph Consistency [53.31681712576555]
  半教師付き学習アルゴリズムSimMatchV2を導入する。 グラフの観点からラベル付きデータとラベルなしデータの間の様々な一貫性の規則化を定式化する。 SimMatchV2は、複数の半教師付き学習ベンチマークで検証されている。
  論文  参考訳（メタデータ） (2023-08-13T05:56:36Z)
• Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
  本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-26T02:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。