論文の概要: Merge and Branch: Efficient Tree-Structured Supervised Fine-Tuning of LLMs for Recommendation

• arxiv url: http://arxiv.org/abs/2610.37973v1
• Date: Tue, 27 Oct 2026 21:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.916554
• Title: Merge and Branch: Efficient Tree-Structured Supervised Fine-Tuning of LLMs for Recommendation
• Title（参考訳）: 合併と分枝:レコメンデーション用LLMの効率的な木構造監視細調整
• Abstract要約: LLMに基づく生成レコメンデーションは長文豊富な相互作用履歴を読み取るが、短いセマンティック識別子(SID)のみを生成する 本稿では,Merge and Branch (M&B) を提案し,入力コストを削減し,各エンコードされた履歴から詳細を学習する。 公開ベンチマークの実験では、M&Bはトレーニングと復号効率を大幅に向上させながら、強い推奨基準を上回ります。
• 参考スコア（独自算出の注目度）: 9.765807943430646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based generative recommendation reads long, text-rich interaction histories but generates only short semantic identifiers (SIDs). This asymmetry makes supervised fine-tuning inefficient: encoding the history is expensive, yet each history usually provides supervision for only one target. We present Merge and Branch (M&B) to reduce input cost and learn more from each encoded history. Merge compresses each historical item's SID and text into a small number of learned tokens. Branch uses the compressed history to predict multiple target SIDs. To share history computation while keeping these targets independent, M&B organizes each example as a shallow, wide tree. We develop tree FlashAttention to execute this layout efficiently, processing the shared history once and propagating gradients from every branch for end-to-end training. A tree-structured key/value cache extends history sharing to constrained decoding. Experiments on public benchmarks show that M&B outperforms strong recommendation baselines while substantially improving training and decoding efficiency.
• Abstract（参考訳）: LLMベースの生成レコメンデーションは、長いテキストリッチなインタラクション履歴を読み込むが、短いセマンティック識別子(SID)だけを生成する。 この非対称性は、監督された微調整の非効率をもたらす: 歴史の符号化は高価であるが、各歴史は通常、1つのターゲットに対してのみ監督を提供する。 本稿では,Merge and Branch (M&B) を提案し,入力コストを削減し,各エンコードされた履歴から詳細を学習する。 Mergeは各歴史的項目のSIDとテキストを少数の学習トークンに圧縮する。 ブランチは圧縮された履歴を使用して、複数のターゲットSIDを予測する。 これらの対象を独立に保ちながら履歴計算を共有するため、M&Bは各例を浅い広木として整理する。 このレイアウトを効率的に実行するためのtree FlashAttentionを開発し、共有履歴を一度処理し、エンドツーエンドのトレーニングのために各ブランチからの勾配を伝搬する。 木構造キー/バリューキャッシュは、履歴共有を制約付き復号化まで拡張する。 公開ベンチマークの実験では、M&Bはトレーニングと復号効率を大幅に向上させながら、強い推奨基準を上回ります。

関連論文リスト

• Improving Long-Context Retrieval with Multi-Prefix Embedding [64.08968715893504]
  Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。 MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
  論文  参考訳（メタデータ） (2026-06-22T17:31:02Z)
• Panini: Continual Learning in Token Space via Structured Memory [4.979820180013486]
  言語モデルは、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは動詞の文書を(チャンクとして)外部に保存し、推論時に関連するサブセットのみを取得する。 本稿では,基本モデルを固定したままで,新たな経験を外部セマンティックメモリ状態に統合することで学習を行う,人間のような非パラメトリック連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:58:03Z)
• A Simple Yet Strong Baseline for Long-Term Conversational Memory of LLM Agents [4.706565675142042]
  LLMベースの会話エージェントは、多くのセッションにおいてコヒーレントでパーソナライズされたインタラクションを維持するのに依然として苦労している。 ニューダビッドソンのイベントセマンティクスに触発され、会話履歴を短く、イベントのような命題として表現するイベント中心の代替案を提案する。 我々の設計は、情報を非圧縮形式で保存し、より損失の多いものよりもアクセスしやすくすることを目的としています。
  論文  参考訳（メタデータ） (2025-11-21T12:41:17Z)
• ToM: Leveraging Tree-oriented MapReduce for Long-Context Reasoning in Large Language Models [107.86069298500855]
  ToMは、長期コンテキスト推論のための新しいツリー指向MapReduceフレームワークである。 ToM は既存の分割・クエリー・フレームワークや検索拡張生成手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-01T10:43:58Z)
• Scheduling Your LLM Reinforcement Learning with Reasoning Trees [18.720191133993715]
  本稿では、推論木の構造に基づいて、クエリの学習困難度を測定するReasoning Score(r-score)を紹介する。 rスコアに基づくスケジューリングアルゴリズムであるReasoning Tree Schedule (Re-Schedule)を提案する。
  論文  参考訳（メタデータ） (2025-10-28T17:52:07Z)
• Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
  検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。 各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
  論文  参考訳（メタデータ） (2025-02-16T16:12:01Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement [11.91629418177851]
  投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。 近年の作業では、草稿の伐採によってこの方法が進歩している。 再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
  論文  参考訳（メタデータ） (2024-02-21T22:57:49Z)
• LongCoder: A Long-Range Pre-trained Language Model for Code Completion [56.813974784131624]
  LongCoderは自己アテンションにスライディングウィンドウ機構を採用し、グローバルアクセス可能なトークンを2種類導入している。 ブリッジトークンは入力シーケンス全体を通して挿入され、ローカル情報を集約し、グローバルな相互作用を促進する。 メモリトークンは、後で呼び出され、記憶する必要がある重要なステートメントをハイライトするために含まれます。
  論文  参考訳（メタデータ） (2023-06-26T17:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。