論文の概要: Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

• arxiv url: http://arxiv.org/abs/2610.31439v1
• Date: Thu, 22 Oct 2026 15:35:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.428322
• Title: Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale
• Title（参考訳）: マルチトークン予測と代替トークン化による大規模マルチホップグラフ検索の学習改善
• Abstract要約: 目に見えないグラフ、開始ノード、$s$、終了ノード、$t$が与えられたら、言語モデルは$s$から$t$までの最短パスを生成することができるのか? 以前の研究で、グラフがスケールするにつれて、モデルはこのタスクを学ばないことがわかった。 この失敗には、監視信号とトークン化の2つの原因があることが示されています。
• 参考スコア（独自算出の注目度）: 16.70332881382041
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Given an unseen graph, a start node, $s$, and an end node, $t$, can a language model generate the shortest path from $s$ to $t$? Prior work has found that models fail to learn this task as the graphs scale. We show that this failure has two causes: the supervision signal and the tokenization. First, we theoretically establish and empirically demonstrate the effectiveness of multi-token prediction (MTP), and show that the benefits of MTP are topologically agnostic. Second, we introduce alternative tokenizations and show that the two causes are orthogonal. Using these methods, we break through the scaling wall observed by prior work, consistently and stably learning to solve the task at scales far beyond previous limits.
• Abstract（参考訳）: 目に見えないグラフ、開始ノード、$s$、終了ノード、$t$が与えられたら、言語モデルは$s$から$t$までの最短パスを生成することができるのか? 以前の研究で、グラフがスケールするにつれて、モデルはこのタスクを学ばないことがわかった。 この失敗には、監視信号とトークン化の2つの原因があることが示されています。 まず,マルチトークン予測(MTP)の有効性を理論的に確立し,実証的に実証し,MTPの利点がトポロジカルなものであることを示す。 第二に、代替トークン化を導入し、2つの原因が直交であることを示す。 これらの手法を用いて、先行作業によって観測されたスケーリングウォールを突破し、従来よりもはるかに遠くのスケールでのタスクの解決を一貫して安定的に学習する。

関連論文リスト

• Learning When to Abort in Transformer Planning: A Mechanistic Study [30.404822931444812]
  我々は、無効な遷移のエラーを検出するためにモデルを訓練する。 実験により、エラー検出と再試行を組み合わせることで、モデルの計画信頼性が向上することが示された。
  論文  参考訳（メタデータ） (2026-10-18T14:33:08Z)
• A Theory of Online Learning with Autoregressive Chain-of-Thought Reasoning [14.292982828097465]
  [Joshiら,2025)は,このプロセスから生じる入力出力マップの学習可能性を研究するためのPACモデルを提案した。 我々は,未知の次点発生器による最終的な出力の誤り境界に着目し,このフレームワークのオンラインアナログを開発する。 我々のゴールは、最適なミスバウンドが生成地平線にどのように依存するかを理解することである。
  論文  参考訳（メタデータ） (2026-05-07T18:21:05Z)
• Learning from one graph: transductive learning guarantees via the geometry of small random worlds [8.781923502647055]
  我々は,低次元メートル法埋め込みによる大規模グラフの幾何正則性を活用する新しい集中度測定ツールを開発した。 まず、任意の決定論的 $k$-vertex グラフと、ErdHos-R'enyi グラフ $mathbfG=mathbfG(k,p)$ in the regime $p in the MathcalO((log (k)/k)1/2) で鍵幾何学的性質を共有するランダムグラフについて述べる。
  論文  参考訳（メタデータ） (2025-09-08T17:13:28Z)
• Adaptive Tokenization: On the Hop-Overpriority Problem in Tokenized Graph Learning Models [59.98982735197465]
  トークン学習モデル(TGLM)は、グラフをスケーラブルな処理のために順序付きトークンリストに変換する。 TGLMは手書きのトークンリストに依存しており、さまざまなグラフ学習シナリオへの適応性はまだ未検討である。 本稿では,手書きのトークンリストをTGLMで置き換えるプラグイン・アンド・プレイモジュールであるLearnable Graph Token List(LGTL)を提案する。
  論文  参考訳（メタデータ） (2025-05-19T06:25:33Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
  本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。 バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。 実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T02:53:25Z)
• Multi-armed Bandit Learning on a Graph [0.0]
  そこで,エージェントがグラフの上を移動して,異なるノードから収集した報酬を最大化するグラフバンドイットと呼ばれるMABの拡張について検討する。 我々は,楽観主義の原理を用いて長期探査・探索のバランスをとる学習アルゴリズムG-UCBを設計する。 提案アルゴリズムは,ノード数として$O(sqrt|S|Tlog(T)+D|S|log T)$学習後悔を実現する。
  論文  参考訳（メタデータ） (2022-09-20T02:31:42Z)
• SQUIRE: A Sequence-to-sequence Framework for Multi-hop Knowledge Graph Reasoning [21.53970565708247]
  トリプルクエリを与えられたマルチホップ推論タスクは、推論プロセスを示す明確なパスを提供することを目的としている。 SQUIREはSequence-to-Sequenceベースのマルチホップ推論フレームワークである。
  論文  参考訳（メタデータ） (2022-01-17T04:22:54Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。