論文の概要: Learning Optimal Tree Models Under Beam Search
- arxiv url: http://arxiv.org/abs/2006.15408v1
- Date: Sat, 27 Jun 2020 17:20:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 07:33:37.490989
- Title: Learning Optimal Tree Models Under Beam Search
- Title(参考訳): ビーム探索による最適木モデル学習
- Authors: Jingwei Zhuo, Ziru Xu, Wei Dai, Han Zhu, Han Li, Jian Xu, Kun Gai
- Abstract要約: 既存のツリーモデルは、トレーニングテストの相違に悩まされている。
我々はビームサーチとキャリブレーションの下でベイズ最適性の概念を開発する。
本稿では,ビームサーチによる最適木モデル学習のための新しいアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 27.92120639502327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieving relevant targets from an extremely large target set under
computational limits is a common challenge for information retrieval and
recommendation systems. Tree models, which formulate targets as leaves of a
tree with trainable node-wise scorers, have attracted a lot of interests in
tackling this challenge due to their logarithmic computational complexity in
both training and testing. Tree-based deep models (TDMs) and probabilistic
label trees (PLTs) are two representative kinds of them. Though achieving many
practical successes, existing tree models suffer from the training-testing
discrepancy, where the retrieval performance deterioration caused by beam
search in testing is not considered in training. This leads to an intrinsic gap
between the most relevant targets and those retrieved by beam search with even
the optimally trained node-wise scorers. We take a first step towards
understanding and analyzing this problem theoretically, and develop the concept
of Bayes optimality under beam search and calibration under beam search as
general analyzing tools for this purpose. Moreover, to eliminate the
discrepancy, we propose a novel algorithm for learning optimal tree models
under beam search. Experiments on both synthetic and real data verify the
rationality of our theoretical analysis and demonstrate the superiority of our
algorithm compared to state-of-the-art methods.
- Abstract(参考訳): 情報検索とレコメンデーションシステムにおいて,計算限界下での極めて大きなターゲットセットから関連するターゲットを取得することが共通の課題である。
学習可能なノードワイズスコアラーを持つ木の葉としてターゲットを定式化するツリーモデルは、トレーニングとテストの両方において対数計算の複雑さのために、この課題に取り組むことに多くの関心を集めている。
木に基づく深層モデル (TDM) と確率ラベルツリー (PLT) は代表的な2種類である。
多くの実践的な成功をおさめたが、既存のツリーモデルは訓練においてビームサーチによる検索性能劣化が考慮されない訓練試験の相違に悩まされている。
これにより、最も関連するターゲットとビームサーチによって検索されたターゲットの間に、最適に訓練されたノード毎のスコアラーさえも本質的なギャップが生じる。
この問題を理論的に理解し解析する第一歩を踏み出し、ビームサーチおよびビームサーチによるキャリブレーションに基づくベイズ最適性の概念を汎用解析ツールとして開発する。
さらに,この不一致を解消するために,ビーム探索による最適木モデル学習のための新しいアルゴリズムを提案する。
合成データと実データの両方に関する実験は,理論解析の合理性を検証し,最先端手法と比較してアルゴリズムの優越性を示す。
関連論文リスト
- Differentiable Tree Search in Latent State Space [17.688341927195033]
微分可能木探索(DTS)は、誘導バイアスを大幅に強化する新しいニューラルネットワークアーキテクチャである。
本稿では,最優先のオンライン検索アルゴリズムのアルゴリズム構造を組み込むことにより,誘導バイアスを大幅に強化するニューラルネットワークアーキテクチャを提案する。
我々は,DTSをオフラインRL設定で評価し,Procgenゲームとグリッドナビゲーションタスクのトレーニングデータシナリオを限定した。
論文 参考訳(メタデータ) (2024-01-22T02:33:38Z) - PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
木探索に基づく推論経路生成手法であるPathFinderを提案する。
動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。
我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
論文 参考訳(メタデータ) (2023-12-08T17:05:47Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [67.07008558942792]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T15:00:09Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3~5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳(メタデータ) (2022-05-28T06:08:07Z) - Enabling arbitrary translation objectives with Adaptive Tree Search [23.40984370716434]
本研究では,適応木探索アルゴリズムを導入し,探索対象の形状や構造を仮定しない翻訳モデルの下で高いスコア付け出力を求める。
我々のアルゴリズムはビームサーチとは異なるバイアスを有しており、自己回帰モデルにおけるデコードバイアスの役割を新たに解析することができる。
論文 参考訳(メタデータ) (2022-02-23T11:48:26Z) - Optimal Counterfactual Explanations in Tree Ensembles [3.8073142980733]
我々は「最適」な説明を目的としたモデルに基づく探索を提唱し、効率的な混合整数プログラミング手法を提案する。
孤立林は我々のフレームワーク内でモデル化され、低いアウトリーチスコアで妥当な説明に焦点を絞ることができることを示す。
論文 参考訳(メタデータ) (2021-06-11T22:44:27Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-07T08:00:02Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - Efficient Model-Based Reinforcement Learning through Optimistic Policy
Search and Planning [93.1435980666675]
最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。
我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
論文 参考訳(メタデータ) (2020-06-15T18:37:38Z) - Multi-layer local optima networks for the analysis of advanced local
search-based algorithms [0.6299766708197881]
ローカルオプティマスネットワーク(Local Optima Network, LON)は、特定の近傍演算子と局所探索アルゴリズムに基づいて、特定の最適化問題のフィットネスランドスケープを圧縮するグラフモデルである。
本稿では、多層LONの概念と、フィットネスランドスケープ分析のためのメトリクス抽出を目的としたこれらのモデルを探索するための方法論を提案する。
論文 参考訳(メタデータ) (2020-04-29T03:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。