論文の概要: Learning Optimal Tree Models Under Beam Search

• arxiv url: http://arxiv.org/abs/2006.15408v1
• Date: Sat, 27 Jun 2020 17:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:33:37.490989
• Title: Learning Optimal Tree Models Under Beam Search
• Title（参考訳）: ビーム探索による最適木モデル学習
• Authors: Jingwei Zhuo, Ziru Xu, Wei Dai, Han Zhu, Han Li, Jian Xu, Kun Gai
• Abstract要約: 既存のツリーモデルは、トレーニングテストの相違に悩まされている。 我々はビームサーチとキャリブレーションの下でベイズ最適性の概念を開発する。 本稿では,ビームサーチによる最適木モデル学習のための新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 27.92120639502327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieving relevant targets from an extremely large target set under computational limits is a common challenge for information retrieval and recommendation systems. Tree models, which formulate targets as leaves of a tree with trainable node-wise scorers, have attracted a lot of interests in tackling this challenge due to their logarithmic computational complexity in both training and testing. Tree-based deep models (TDMs) and probabilistic label trees (PLTs) are two representative kinds of them. Though achieving many practical successes, existing tree models suffer from the training-testing discrepancy, where the retrieval performance deterioration caused by beam search in testing is not considered in training. This leads to an intrinsic gap between the most relevant targets and those retrieved by beam search with even the optimally trained node-wise scorers. We take a first step towards understanding and analyzing this problem theoretically, and develop the concept of Bayes optimality under beam search and calibration under beam search as general analyzing tools for this purpose. Moreover, to eliminate the discrepancy, we propose a novel algorithm for learning optimal tree models under beam search. Experiments on both synthetic and real data verify the rationality of our theoretical analysis and demonstrate the superiority of our algorithm compared to state-of-the-art methods.
• Abstract（参考訳）: 情報検索とレコメンデーションシステムにおいて,計算限界下での極めて大きなターゲットセットから関連するターゲットを取得することが共通の課題である。 学習可能なノードワイズスコアラーを持つ木の葉としてターゲットを定式化するツリーモデルは、トレーニングとテストの両方において対数計算の複雑さのために、この課題に取り組むことに多くの関心を集めている。 木に基づく深層モデル (TDM) と確率ラベルツリー (PLT) は代表的な2種類である。 多くの実践的な成功をおさめたが、既存のツリーモデルは訓練においてビームサーチによる検索性能劣化が考慮されない訓練試験の相違に悩まされている。 これにより、最も関連するターゲットとビームサーチによって検索されたターゲットの間に、最適に訓練されたノード毎のスコアラーさえも本質的なギャップが生じる。 この問題を理論的に理解し解析する第一歩を踏み出し、ビームサーチおよびビームサーチによるキャリブレーションに基づくベイズ最適性の概念を汎用解析ツールとして開発する。 さらに,この不一致を解消するために,ビーム探索による最適木モデル学習のための新しいアルゴリズムを提案する。 合成データと実データの両方に関する実験は,理論解析の合理性を検証し,最先端手法と比較してアルゴリズムの優越性を示す。

関連論文リスト

• BPP-Search: Enhancing Tree of Thought Reasoning for Mathematical Modeling Problem Solving [11.596474985695679]
  我々は、完全な数学的モデリングプロセスをキャプチャする包括的ラベルを付したStructuredORデータセットをリリースする。 本稿では,強化学習をツリー・オブ・シント構造に統合するアルゴリズムであるBPP-Searchを提案する。 BPP-Searchは、Chain-of-Thought、Self-Consistency、Tree-of-Thoughtなど、最先端の手法を大幅に上回っている。
  論文  参考訳（メタデータ） (2024-11-26T13:05:53Z)
• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Enabling arbitrary translation objectives with Adaptive Tree Search [23.40984370716434]
  本研究では,適応木探索アルゴリズムを導入し,探索対象の形状や構造を仮定しない翻訳モデルの下で高いスコア付け出力を求める。 我々のアルゴリズムはビームサーチとは異なるバイアスを有しており、自己回帰モデルにおけるデコードバイアスの役割を新たに解析することができる。
  論文  参考訳（メタデータ） (2022-02-23T11:48:26Z)
• Optimal Counterfactual Explanations in Tree Ensembles [3.8073142980733]
  我々は「最適」な説明を目的としたモデルに基づく探索を提唱し、効率的な混合整数プログラミング手法を提案する。 孤立林は我々のフレームワーク内でモデル化され、低いアウトリーチスコアで妥当な説明に焦点を絞ることができることを示す。
  論文  参考訳（メタデータ） (2021-06-11T22:44:27Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。