論文の概要: TSLM: Tree-Structured Language Modeling for Divergent Thinking

• arxiv url: http://arxiv.org/abs/2601.22688v1
• Date: Fri, 30 Jan 2026 08:04:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.310227
• Title: TSLM: Tree-Structured Language Modeling for Divergent Thinking
• Title（参考訳）: TSLM: 多様性思考のための木構造言語モデリング
• Authors: Doyoung Kim, Jaehyeok Doo, Minjoon Seo,
• Abstract要約: 木構造言語モデリング(TSLM)を導入し,特殊なトークンを用いて分岐構造を符号化する。 TSLMは、共有プレフィックスの冗長な再計算なしに、体系的な探索を内部化することを学ぶ。 結果は、堅牢な推論のための推論時間スケーリングの新しいパラダイムを示唆している。
• 参考スコア（独自算出の注目度）: 32.89058911018328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models generate reasoning sequentially, preventing them from decoupling irrelevant exploration paths during search. We introduce Tree-Structured Language Modeling (TSLM), which uses special tokens to encode branching structure, enabling models to generate and selectively expand multiple search paths within a single generation process. By training on complete search trees including both successful and failed attempts, TSLM learns to internalize systematic exploration without redundant recomputation of shared prefixes. TSLM achieves robust performance and superior inference efficiency by avoiding the multiple independent forward passes required by external search methods. These results suggest a new paradigm of inference-time scaling for robust reasoning, demonstrating that supervised learning on complete tree-structured traces provides an efficient alternative for developing systematic exploration capabilities in language models.
• Abstract（参考訳）: 言語モデルはシーケンシャルに推論を生成し、探索中に無関係な探索経路が切り離されるのを防ぐ。 木構造言語モデリング (TSLM) を導入し, 分岐構造を符号化し, 単一生成プロセス内で複数の探索経路を生成し, 選択的に拡張できるようにする。 TSLMは、成功と失敗の両方を含む完全な探索木を訓練することにより、共有プレフィックスを冗長に再計算することなく、体系的な探索を内部化することを学ぶ。 TSLMは、外部探索法で要求される複数の独立フォワードパスを回避することにより、堅牢な性能と優れた推論効率を実現する。 これらの結果は,頑健な推論のための推論時間スケーリングの新たなパラダイムを示唆し,木構造トレースの教師付き学習が,言語モデルにおける体系的探索機能開発に有効な代替手段であることを示す。

関連論文リスト

• Diffusion Language Model Inference with Monte Carlo Tree Search [22.7649405246503]
  拡散言語モデル (DLMs) は自己回帰生成の魅力的な代替手段として登場した。 本稿では,DLM推論の原理的探索機構であるMEDALを紹介する。 複数のベンチマークで、MEDALは既存の推論戦略よりも最大22.0%改善されている。
  論文  参考訳（メタデータ） (2025-12-13T04:30:02Z)
• SEM: Reinforcement Learning for Search-Efficient Large Language Models [26.075903427834838]
  大きな言語モデル(LLM)は、推論だけでなく、外部ツールの呼び出しでもその能力を実証している。 既存の強化学習アプローチは、しばしば冗長な探索行動を引き起こす。 本研究では,学習後強化学習フレームワークであるSEMを提案する。
  論文  参考訳（メタデータ） (2025-05-12T09:45:40Z)
• On the Temporal Question-Answering Capabilities of Large Language Models Over Anonymized Data [1.2979906794584584]
  訓練中に存在しないデータに対する時間的推論タスクにおけるLarge Language Model(LLM)の適用性はまだ検討されていない分野である。 本稿では、構造化および半構造化された匿名化データに焦点をあてて、このトピックについて論じる。 自然言語における17の共通時間的推論タスクを特定し,そのアルゴリズム的構成要素に着目した。
  論文  参考訳（メタデータ） (2025-04-10T10:48:42Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• RoT: Enhancing Large Language Models with Reflection on Search Trees [41.67536806038573]
  本稿では,木探索に基づくプロンプト手法の性能向上を目的としたLLMリフレクションフレームワークであるリフレクション・オン・サーチ・ツリー(RoT)について紹介する。 強力なLLMを使用して、以前の木探索経験からガイドラインを要約し、弱いLLMの能力を高める。 本稿では,RoTがより具体的で意味のあるガイドラインを生成するのを支援するために,歴史的検索プロセスから重要な情報を識別する新しい状態選択法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T12:31:23Z)
• End-to-End Open Vocabulary Keyword Search With Multilingual Neural Representations [7.780766187171571]
  競合性能を実現するニューラルネットワークによるASRフリーキーワード検索モデルを提案する。 本研究は,多言語事前学習と詳細なモデル解析により拡張する。 実験の結果,提案した多言語学習はモデルの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-15T20:33:25Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。