論文の概要: Can LLMs Use Relational Transformer Embeddings?

• arxiv url: http://arxiv.org/abs/2609.00457v1
• Date: Mon, 31 Aug 2026 22:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.124318
• Title: Can LLMs Use Relational Transformer Embeddings?
• Title（参考訳）: LLMはリレーショナルトランスを組み込むことができるか?
• Abstract要約: ソフトトークンとして凍結エンコーダの埋め込みを大言語モデル(LLM)に注入することは、概念的に魅力的な融合戦略である。 冷凍変圧器(RT)からQwen3にLSMを注入することで、この仮説を検証した。 我々は、予測へのルートとして機能する前に、より強力なアライメント目標とスキーマ対応設計が必要であるとして、ネガティブな結果を報告し、失敗モードを分析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Injecting frozen relational-encoder embeddings as soft tokens into a large language model (LLM) is a conceptually appealing fusion strategy: the encoder handles multi-table structure, the LLM handles language and reasoning, and no lossy text serialization is required. We test this hypothesis concretely by injecting embeddings from a frozen Relational Transformer (RT) into Qwen3.5-4B via a learned MLP projection and LoRA adaptation, trained first with supervised fine-tuning (SFT) on chain-of-thought reasoning traces and then with group-based reinforcement learning (GSPO). We evaluate across 10 binary classification tasks on 6 relational databases from RelBench, under four supervision regimes: single-task (ST), within-dataset (WD), cross-dataset (CD), and all-task (ALL). The hybrid model does not consistently outperform standalone RT: it is frequently below random, highly sensitive to serialization format and relational-token budget, and unstable under RL training. We report these negative results and analyze the failure modes, arguing that soft-token fusion requires stronger alignment objectives and schema-aware design before it can serve as a reliable route to relational prediction.
• Abstract（参考訳）: 凍結したリレーショナルエンコーダをソフトトークンとして大言語モデル(LLM)に注入することは、概念的に魅力的な融合戦略である:エンコーダはマルチテーブル構造を扱い、LLMは言語と推論を扱い、損失のあるテキストシリアライゼーションは不要である。 本仮説は,凍結型リレーショナルトランスフォーマー (RT) からQwen3.5-4Bに学習MLPプロジェクションとLoRA適応を用いて埋め込みを注入し,まずチェーン・オブ・フォー・シーリング・トレース上で教師付き微調整 (SFT) を行い,次にグループベース強化学習 (GSPO) を用いて実験を行った。 RelBenchの6つのリレーショナルデータベース上の10のバイナリ分類タスクを、シングルタスク(ST)、インテリアデータセット(WD)、クロスデータセット(CD)、オールタスク(ALL)の4つの監督体制下で評価した。 ハイブリッドモデルは、スタンドアローンのRTよりも一貫して優れておらず、しばしば乱数以下で、シリアライズフォーマットやリレーショナルな予算に非常に敏感であり、RLトレーニングでは不安定である。 これらの負の結果を報告し, 故障モードを解析し, ソフトトークン融合には, 信頼性の高い関係予測への経路として機能する前に, より強力なアライメント目標とスキーマ対応設計が必要であると主張した。

関連論文リスト

• Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation [59.216721553953]
  大規模言語モデルベースレコメンデータシステム(LLM-RS)は目覚ましい能力を示しているが、現実の多くのアプリケーションでは計算的に持続不可能である。 本稿では,スケーラブルなフルコーパスランキングを維持しつつ,コンパクトなLLMを向上する識別フレームワークを提案する。 Qwen 3 1.7BとLlama 3.2 3Bの3つの実世界のデータセットの実験では、FLEXRecは高い効率を維持しながら最先端の精度を達成している。
  論文  参考訳（メタデータ） (2026-08-18T03:14:28Z)
• OpenRFM: Dissecting Relational In-Context Learning [15.623084178502053]
  In-context Learning (ICL) を通じて1回のパスで返される事前学習された予測器は,ラベルとセルの関係が疎い場合に故障することを示す。 本稿では,リレーショナルバックボーンと,事前学習した表層基礎モデルから持ち上げられたバッチレベルICL層を結合して,関係レベルのラベル不足を克服する2段ICLアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-06-03T00:48:44Z)
• Logic-Regularized Verifier Elicits Reasoning from LLMs [63.65875399266337]
  論理規則で正規化された教師なしの検証器であるLOVERを提案する。 ローバーは、定理を二項潜在変数として扱い、内部の活性化を活用し、3つの論理的制約を課す。 ローバーは教師なしのベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2026-05-07T09:03:49Z)
• Matrix as Plan: Structured Logical Reasoning with Feedback-Driven Replanning [9.431480849387595]
  Chain-of-Thoughtプロンプトは、Large Language Models(LLMs)の推論能力を高めることが示されている。 ニューロシンボリック法は、外部の解法を通して形式的正しさを強制することによって、このギャップに対処する。 行列ベースの計画を持つ構造化CoTフレームワークであるMatrixCoTを提案する。
  論文  参考訳（メタデータ） (2026-01-15T06:12:00Z)
• DAG-Math: Graph-Guided Mathematical Reasoning in LLMs [54.231935013127206]
  大型言語モデル (LLM) は, CoT (Chain-of-Thought) による数学的問題に対して高い性能を示す 我々は、有向非巡回グラフ(DAG)上の一定の規則に基づくプロセスとしてCoTをモデル化することを提案する。 ここでは,モデルのCoT軌道がDAG構造にどの程度よく依存するかを定量化する計量である論理的近接性を導入する。
  論文  参考訳（メタデータ） (2025-10-19T21:05:17Z)
• Training-Free Time Series Classification via In-Context Reasoning with LLM Agents [29.14242392533328]
  時系列分類(TSC)は様々なアプリケーションシナリオにまたがるが、ラベル付きデータは少ないことが多い。 本稿では,事前の文脈推論による学習自由TSCのためのマルチエージェントフレームワークであるFETAを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:07:43Z)
• Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs [51.29260537017623]
  大規模言語モデル (LLM) は計算化学の汎用基盤モデルとして登場しつつある。 これらのモデルは、しばしば往復一貫性を欠いている。 本稿では,その一貫性を向上させるためにモデルをトレーニングする新しいフレームワークであるRound-Trip Reinforcement Learning(RTRL)を紹介する。
  論文  参考訳（メタデータ） (2025-10-01T23:58:58Z)
• Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
  本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。 Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
  論文  参考訳（メタデータ） (2025-08-18T21:58:18Z)
• Table-r1: Self-supervised and Reinforcement Learning for Program-based Table Reasoning in Small Language Models [52.94091440130039]
  表推論(TR)は、半構造化データに対する構造化推論を必要とする。 小型言語モデル(SLM)は、大きなLM(LLM、例えばGPT-4o)と比較して限られた能力を持つ。 実行可能プログラムを生成することで、テキストベースTR(T-TR)の鍵となる制限を回避するプログラムベースTR(P-TR)を提案する。 4つのTRベンチマークの実験により、Table-r1は全てのSLMベースの手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-06T14:52:19Z)
• Self-Training Elicits Concise Reasoning in Large Language Models [23.475414693530965]
  チェーン・オブ・シント(CoT)推論により、中間トークンによるさらなる計算を大規模言語モデル(LLM)が利用できるようになった。 自己生成した簡潔な推論経路を利用する簡単な微調整法を提案する。 提案手法は,GSM8KおよびMATH上の5つのモデルファミリに対して,平均精度を維持しつつ,出力トークンの30%削減を実現する。
  論文  参考訳（メタデータ） (2025-02-27T14:14:50Z)
• Reliable Text-to-SQL with Adaptive Abstention [21.07332675929629]
  本稿では,提案手法を組み込むことにより,クエリ生成の信頼性を向上させる新しいフレームワークを提案する。 我々はBIRDベンチマークの総合的な実験を通じてアプローチを検証するとともに、堅牢性と信頼性の大幅な向上を実証した。
  論文  参考訳（メタデータ） (2025-01-18T19:36:37Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。