論文の概要: Scaling Multi-Hop Training Data via Graph-Constrained Path Selection
- arxiv url: http://arxiv.org/abs/2605.31238v1
- Date: Fri, 29 May 2026 12:39:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.605067
- Title: Scaling Multi-Hop Training Data via Graph-Constrained Path Selection
- Title（参考訳）: グラフ制約経路選択によるマルチホップトレーニングデータのスケーリング
- Abstract要約: 推論パスは文脈キーワードであるCentroidのグラフ上でオフラインに列挙され、教師は事前に検証されたパスにのみ呼び出される。
等訓練スケールでは、制約された鎖と制約のない鎖は区別不能な下流のパフォーマンスをもたらし、フルスケールでの利得は使用可能なコーパスの4.4$times$拡張から得られる。
Qwen3-32B CUAD法定契約コーパスから構築された80K のファインチューニングの Qwen3-32B は、クローズドブックの Token F1 を 21.66% から 38.58% に改善した。
- 参考スコア（独自算出の注目度）: 40.133031562641044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Endowing large language models with compositional reasoning over specialized documents requires multi-hop training data at scale, where such data rarely exists outside of curated benchmarks built on structured sources. To construct it directly from plain, unannotated text, existing methods ask a single teacher model to jointly discover an evidence path through a document and verbalize it as a question-answer pair. However, these methods degrade sharply when documents are structured around repetitive templates and densely cross-referencing clauses, conditions that characterize most real-world specialized corpora. In this work, we decouple the two operations: reasoning paths are enumerated offline over a graph of contextual keyword centroids, and the teacher is invoked only to verbalize pre-validated paths. The graph enforces five geometric admissibility constraints, for which we provide Gram-matrix arguments establishing that local similarity bounds alone admit endpoint drift up to ${\sim}91^{\circ}$, and that an upper similarity bound is necessary to exit dense embedding cliques formed by boilerplate text. A matched-size ablation isolates the mechanism: at equal training scale, constrained and unconstrained chains yield indistinguishable downstream performance, and the gain at full scale comes from a 4.4$\times$ expansion of the usable corpus rather than from higher per-chain quality -- reframing the role of graph constraints, in this setting, as raising teacher synthesizability rather than improving chain content. Fine-tuning Qwen3-32B on 80K examples constructed from the CUAD legal contract corpus improves closed-book Token F1 from 21.66% to 38.58%. We have released our codes at https://github.com/hkgai-official/GCSCS.
- Abstract（参考訳）: 特殊な文書に対して構成的推論を施した大規模言語モデルを構築するには、大規模なマルチホップトレーニングデータが必要である。
平易で無注釈のテキストから直接構築するために、既存の方法では、単一の教師モデルに文書を通してエビデンスパスを共同で発見し、質問と回答のペアとして言語化する。
しかし、これらの手法は、文書が反復テンプレートや密集した相互参照節を中心に構成されている場合、特に現実世界の特殊コーパスを特徴付ける条件によって急速に劣化する。
本研究では2つの操作を分離する: 推論パスは文脈キーワードセントロイドのグラフ上でオフラインに列挙され、教師は事前に検証されたパスを動詞化するためにのみ呼び出される。
グラフは5つの幾何学的許容性制約を課し、局所的な類似性境界が${\sim}91^{\circ}$まで終点のドリフトを許容すること、およびボイラープレートテキストによって形成された密着した埋め込み傾斜を抜けるのに上類似性境界が必要であることを証明したGram-matrix引数を与える。
同一のトレーニングスケールでは、制約付き鎖と制約なし鎖がダウンストリームのパフォーマンスを区別できず、フルスケールでの利得は、チェーンごとの品質向上ではなく、使用可能なコーパスの4.4$\times$拡張から得られます。
Qwen3-32B CUAD法定契約コーパスから構築された80K のファインチューニングの Qwen3-32B は、クローズドブックの Token F1 を 21.66% から 38.58% に改善した。
コードについてはhttps://github.com/hkgai-official/GCSCS.comで公開しています。
関連論文リスト
- A Training-Free, Alignment-Free Approach to Corporate Intelligence: Application to SEC Filings [0.0]
決定論的スパースシードベクトルに基づく企業インテリジェンスのためのトレーニングフリーでアライメントのないフレームワークを提案する。
単語文字列を固定された高次元のベースにすることで、すべての文書とすべての時間的エポックを共通座標系に配置し、トレーニングやアライメントの必要をなくす。
ボーイングの737 MAX危機、インテルのサプライチェーン破壊、バンジュのViterra買収など、企業における重要な出来事が、区別可能なセマンティックプロファイルとして現れていることを示す。
論文 参考訳（メタデータ） (2026-09-10T14:32:35Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs [20.946228883628013]
我々は,効率的な全空間予測を実現するために専用エンティティトークンを使用する新しいフレームワークKGTを提案する。
まず、専用エンティティトークンのレベルで特徴表現を構築するために、特殊トークン化を導入します。
次に、事前学習された構造的特徴とテキスト的特徴を、関係誘導ゲーティング機構を介して統合された埋め込みに融合する。
論文 参考訳（メタデータ） (2026-02-26T07:20:40Z) - <SOG_k>: One LLM Token for Explicit Graph Structural Understanding [57.017902343605364]
我々は、グラフの構造を統一トークン空間内に完全に表現するために、1つの特別なトークン SOG_k> を組み込むことを提案する。
SOG_k>は、簡潔で正確な方法でLLMに理解、生成、理性を与える。
論文 参考訳（メタデータ） (2026-02-02T07:55:09Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳（メタデータ） (2026-01-29T17:52:54Z) - Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。
SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。
SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-01-19T08:10:53Z) - N2N-GQA: Noise-to-Narrative for Graph-Based Table-Text Question Answering Using LLMs [0.0]
ハイブリッドテーブルテキストデータに対するマルチホップ質問応答には,大規模コーパスからの複数のエビデンス部分の検索と推論が必要である。
Standard Retrieval-Augmented Generation (RAG) パイプラインは文書をフラットなランクリストとして処理し、検索ノイズがあいまいな推論連鎖を引き起こす。
N2N-GQAは、ノイズの多い検索出力から動的エビデンスグラフを構成する、オープンドメインハイブリッドテーブルテキストQAのための最初のゼロショットフレームワークである。
論文 参考訳（メタデータ） (2026-01-10T15:55:15Z) - Few-Shot Connectivity-Aware Text Line Segmentation in Historical Documents [1.4065611645922207]
本研究では、トポロジを意識した損失関数と組み合わさった小型でシンプルなアーキテクチャが、より複雑な代替品よりも正確でデータ効率が高いことを実証する。
U-DIADS-TLデータセットでは,認識精度が200%向上し,行間距離が75%向上した。
論文 参考訳（メタデータ） (2025-08-26T16:11:32Z) - Token-Level Graphs for Short Text Classification [1.6819960041696331]
本稿では,事前学習言語モデル(PLM)を用いて得られたトークンに基づいて,完全にテキストグラフを構築する手法を提案する。
本手法は文脈情報や意味情報を抽出し,語彙制約を克服し,文脈に依存した単語の意味を抽出する。
実験により,本手法が既存の手法で高いスコアやオンパー性能を連続的に達成する方法が実証された。
論文 参考訳（メタデータ） (2024-12-17T10:19:44Z) - Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。
我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。
我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
論文 参考訳（メタデータ） (2023-11-30T13:22:15Z) - Single Sequence Prediction over Reasoning Graphs for Multi-hop QA [8.442412179333205]
局所推論グラフ(モデル)フットノートコード/モデル上での単一シーケンス予測手法を提案する。
グラフニューラルネットワークを用いて、このグラフ構造を符号化し、結果の表現をモデルのエンティティ表現に融合する。
実験の結果, 正確なマッチング/F1のスコアと, 推論経路におけるグラウンドの忠実度は有意に向上した。
論文 参考訳（メタデータ） (2023-07-01T13:15:09Z) - Structured Dialogue Discourse Parsing [79.37200787463917]
談話解析は、多人数会話の内部構造を明らかにすることを目的としている。
本稿では,符号化と復号化という2つの観点から,従来の作業を改善する原理的手法を提案する。
実験の結果,本手法は,STACでは2.3,Mollweniでは1.5,先行モデルでは2.3を上回った。
論文 参考訳（メタデータ） (2023-06-26T22:51:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。