論文の概要: Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration
- arxiv url: http://arxiv.org/abs/2601.15296v1
- Date: Fri, 02 Jan 2026 07:14:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-25 16:54:51.83609
- Title: Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration
- Title(参考訳): Entropy-Tree: Entropy-Guided Exploration を用いたツリーベースデコーディング
- Authors: Longxuan Wei, Yubo Zhang, Zijiao Zhang, Zhihu Wang, Shiwan Zhao, Tianyu Huang, Huiting Zhao, Chenfei Liu, Shenao Zhang, Junchi Yan,
- Abstract要約: Entropy-Treeは、分岐決定の信号としてエントロピーを利用するツリーベースのデコード手法である。
単一の復号処理において、効率的な構造化された探索と信頼性の高い不確実性推定を統一する。
- 参考スコア(独自算出の注目度): 52.52685988964061
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models achieve strong reasoning performance, yet existing decoding strategies either explore blindly (random sampling) or redundantly (independent multi-sampling). We propose Entropy-Tree, a tree-based decoding method that exploits entropy as a signal for branching decisions--expanding the search tree only at positions where the model exhibits genuine uncertainty. Entropy-Tree shows superior accuracy and calibration in reasoning tasks: it achieves better pass@k than Multi-chain across multiple models and datasets, and its predictive entropy demonstrates better AUROC compared to several traditional metrics. Entropy-Tree unifies efficient structured exploration and reliable uncertainty estimation within a single decoding procedure.
- Abstract(参考訳): 大きな言語モデルは強い推論性能を達成するが、既存のデコード戦略は盲目的(ランダムサンプリング)または冗長な(非依存的なマルチサンプリング)を探索する。
本研究では,モデルが真の不確実性を示す位置のみに探索木を拡張することを目的として,エントロピーを分岐決定の信号として活用するツリーベースデコーディング手法であるEntropy-Treeを提案する。
Entropy-Treeは推論タスクの精度とキャリブレーションに優れており、複数のモデルやデータセットをまたいだマルチチェーンよりも優れたpass@kを実現している。
Entropy-Treeは、単一の復号処理において効率的な構造化された探索と信頼性の高い不確実性推定を統一する。
関連論文リスト
- Hierarchical Quantized Diffusion Based Tree Generation Method for Hierarchical Representation and Lineage Analysis [49.00783841494125]
HDTreeは階層的潜在空間内の木関係を、統一的な階層的コードブックと量子化拡散プロセスを用いてキャプチャする。
HDTreeの有効性は、汎用データセットと単一セルデータセットの比較によって示される。
これらの貢献は階層的な系統解析のための新しいツールを提供し、より正確で効率的な細胞分化経路のモデリングを可能にする。
論文 参考訳(メタデータ) (2025-06-29T15:19:13Z) - ProtInvTree: Deliberate Protein Inverse Folding with Reward-guided Tree Search [77.55575655986252]
ProtInvTreeはタンパク質逆フォールディングのための報酬誘導ツリー検索フレームワークである。
シークエンス生成は、意図的に、ステップワイズな意思決定プロセスとして再構成される。
検索深度と幅を広げて、再トレーニングすることなく、フレキシブルなテストタイムスケーリングをサポートする。
論文 参考訳(メタデータ) (2025-06-01T09:34:20Z) - Learning Decision Trees as Amortized Structure Inference [59.65621207449269]
本稿では,予測決定木アンサンブルを学習するためのハイブリッドアモータイズされた構造推論手法を提案する。
提案手法であるDT-GFNは,標準分類ベンチマークにおける最先端決定木やディープラーニング手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2025-03-10T07:05:07Z) - ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained
Visual Categorization [56.37520969273242]
細かな視覚分類のための新しいアプローチであるViTreeを紹介する。
ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。
このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
論文 参考訳(メタデータ) (2024-01-30T14:32:25Z) - ARTree: A Deep Autoregressive Model for Phylogenetic Inference [6.935130578959931]
グラフニューラルネットワーク(GNN)に基づく系統推定のための深層自己回帰モデルを提案する。
本研究では,本手法の有効性と効率を,実データツリーのトポロジー密度推定と変分系統推定問題のベンチマークで実証する。
論文 参考訳(メタデータ) (2023-10-14T10:26:03Z) - Bayesian Decision Trees via Tractable Priors and Probabilistic
Context-Free Grammars [7.259767735431625]
ベイズ決定木を学習するための新しい基準を提案する。
BCART-PCFGは、データから得られる木々間の後部分布から決定木を効率的にサンプリングすることができる。
BCART-PCFGで採取した木は、優雅に構築された決定木に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-02-15T00:17:41Z) - Hierarchical Shrinkage: improving the accuracy and interpretability of
tree-based methods [10.289846887751079]
木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。
HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。
すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
論文 参考訳(メタデータ) (2022-02-02T02:43:23Z) - Spectral Top-Down Recovery of Latent Tree Models [13.681975313065477]
スペクトルトップダウン・リカバリ (STDR) は、大きな潜在木モデルを推定するための分割・コンカレントアプローチである。
STDRの分割ステップは非ランダムです。
代わりに、観測されたノードに関連する適切なラプラシア行列のFiedlerベクトルに基づいている。
私達はSTDRが統計的に一貫性があることを証明し、高い確率で木を正確に回復するために必要なサンプルの数を縛ります。
論文 参考訳(メタデータ) (2021-02-26T02:47:42Z) - Optimal Survival Trees [2.7910505923792637]
混合整数最適化(MIO)と局所探索技術を利用して,グローバルに最適化された生存木モデルを生成する,新しい生存木アルゴリズムを提案する。
本研究では,既存のサバイバルツリー法,特に大規模データセットの精度の向上を実証する。
論文 参考訳(メタデータ) (2020-12-08T09:00:57Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。