論文の概要: Guidance is All You Need: Temperature-Guided Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2412.06822v1
- Date: Thu, 05 Dec 2024 12:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 22:09:45.061943
- Title: Guidance is All You Need: Temperature-Guided Reasoning in Large Language Models
- Title（参考訳）: ガイダンス:大規模言語モデルにおける温度誘導推論
- Authors: Eyad Gomaa, Gomaa Salah,
- Abstract要約: 大規模言語モデルに温度誘導推論を導入する新しいアーキテクチャである Quasar-1 を提案する。
我々の手法はホットトークンとコールドトークンの概念を活用し、ホットトークンは文脈的関連性に優先され、コールドトークンは補足的な情報を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Quasar-1, a novel architecture that introduces temperature-guided reasoning to large language models through the Token Temperature Mechanism (TTM) and Guided Sequence of Thought (GSoT). Our approach leverages the concept of hot and cold tokens, where hot tokens are prioritized for their contextual relevance, while cold tokens provide supplementary information. This dynamic modulation of token importance enables the model to achieve superior logical reasoning capabilities compared to traditional chain-of-thought approaches. Through rigorous mathematical analysis, we prove that our temperature-guided attention mechanism converges to optimal reasoning paths with exponential guarantees. Empirical results show significant improvements in reasoning accuracy and computational efficiency across a wide range of tasks, making advanced AI reasoning accessible to a broader range of applications.
- Abstract（参考訳）: Token temperature Mechanism (TTM) と Guided Sequence of Thought (GSoT) を通じて,大規模言語モデルに温度誘導推論を導入する新しいアーキテクチャである Quasar-1 を提案する。
我々の手法はホットトークンとコールドトークンの概念を活用し、ホットトークンは文脈的関連性に優先され、コールドトークンは補足的な情報を提供する。
トークンの重要度を動的に変調することで、従来のチェーン・オブ・シークレット・アプローチよりも優れた論理的推論能力が得られる。
厳密な数学的解析を通じて、我々の温度誘導型注意機構が指数保証付き最適推論経路に収束することを証明した。
実験の結果、幅広いタスクにわたる推論精度と計算効率が大幅に改善され、高度なAI推論が広範囲のアプリケーションで利用できるようになった。
関連論文リスト
- Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique [66.94905631175209]
我々は、段階的に自然言語の自己批判(PANEL)を行う新しい推論時間スケーリング手法を提案する。
ステップレベルの探索プロセスのガイドとして、自己生成の自然言語批判をフィードバックとして採用している。
このアプローチは、タスク固有の検証と関連するトレーニングオーバーヘッドの必要性を回避します。
論文 参考訳（メタデータ） (2025-03-21T17:59:55Z) - Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。
OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
論文 参考訳（メタデータ） (2025-03-20T17:59:38Z) - Efficient Reasoning with Hidden Thinking [48.96945580741641]
CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。
我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。
ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
論文 参考訳（メタデータ） (2025-01-31T15:10:29Z) - DCIts -- Deep Convolutional Interpreter for time series [0.0]
このモデルは、最小限の時間枠内で必要なすべてのインタラクションをキャプチャする最適なウィンドウサイズを確実に決定できるように設計されている。
これは、高次項を組み込む際の複雑性のバランスをとるため、最適なモデルの順序を効果的に識別する。
これらの進歩は、力学系のモデリングと理解に重要な意味を持ち、モデルが応用および計算物理学者にとって貴重なツールとなる。
論文 参考訳（メタデータ） (2025-01-08T08:21:58Z) - STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。
ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。
本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
論文 参考訳（メタデータ） (2024-11-29T11:54:55Z) - Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。
我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
論文 参考訳（メタデータ） (2024-11-14T18:31:39Z) - Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。
DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。
本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
論文 参考訳（メタデータ） (2024-02-12T16:23:28Z) - Interpretable Neural PDE Solvers using Symbolic Frameworks [0.0]
偏微分方程式 (Partial differential equation, PDE) は、熱や音から量子システムへの現象をモデル化する。
近年のディープラーニングの進歩は、強力なニューラルソルバの開発に繋がった。
しかし、その解釈可能性には大きな課題が残っている。
論文 参考訳（メタデータ） (2023-10-31T13:56:25Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳（メタデータ） (2023-10-02T01:00:50Z) - KL-Divergence Guided Temperature Sampling [5.726259957909055]
温度が上がると、予測は多様になるが、幻覚にも弱い。
幻覚を緩和するための一般的なアプローチは、ソース/グラウンドのドキュメントを提供することである。
本稿では,デコードステップよりも温度が一定であることの制約を緩和すると共に,その発生源との関係に応じて動的温度を誘導する機構を提案する。
論文 参考訳（メタデータ） (2023-06-02T06:11:26Z) - Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。
GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。
テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
論文 参考訳（メタデータ） (2023-05-26T02:15:09Z) - Join-Chain Network: A Logical Reasoning View of the Multi-head Attention
in Transformer [59.73454783958702]
本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。
特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。
変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
論文 参考訳（メタデータ） (2022-10-06T07:39:58Z) - Interpreting Machine Learning Models for Room Temperature Prediction in
Non-domestic Buildings [0.0]
本研究では,非住宅の室温予測を目的とした解釈可能な機械学習モデルを提案する。
提案モデルでは, 室温をリアルタイムで8時間前に正確に予測できることを実験的に実証した。
論文 参考訳（メタデータ） (2021-11-23T11:16:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。