論文の概要: Guidance is All You Need: Temperature-Guided Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.06822v1
• Date: Thu, 05 Dec 2024 12:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:39:40.848335
• Title: Guidance is All You Need: Temperature-Guided Reasoning in Large Language Models
• Title（参考訳）: ガイダンス:大規模言語モデルにおける温度誘導推論
• Authors: Eyad Gomaa, Gomaa Salah,
• Abstract要約: 大規模言語モデルに温度誘導推論を導入する新しいアーキテクチャである Quasar-1 を提案する。 我々の手法はホットトークンとコールドトークンの概念を活用し、ホットトークンは文脈的関連性に優先され、コールドトークンは補足的な情報を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present Quasar-1, a novel architecture that introduces temperature-guided reasoning to large language models through the Token Temperature Mechanism (TTM) and Guided Sequence of Thought (GSoT). Our approach leverages the concept of hot and cold tokens, where hot tokens are prioritized for their contextual relevance, while cold tokens provide supplementary information. This dynamic modulation of token importance enables the model to achieve superior logical reasoning capabilities compared to traditional chain-of-thought approaches. Through rigorous mathematical analysis, we prove that our temperature-guided attention mechanism converges to optimal reasoning paths with exponential guarantees. Empirical results show significant improvements in reasoning accuracy and computational efficiency across a wide range of tasks, making advanced AI reasoning accessible to a broader range of applications.
• Abstract（参考訳）: Token temperature Mechanism (TTM) と Guided Sequence of Thought (GSoT) を通じて,大規模言語モデルに温度誘導推論を導入する新しいアーキテクチャである Quasar-1 を提案する。 我々の手法はホットトークンとコールドトークンの概念を活用し、ホットトークンは文脈的関連性に優先され、コールドトークンは補足的な情報を提供する。 トークンの重要度を動的に変調することで、従来のチェーン・オブ・シークレット・アプローチよりも優れた論理的推論能力が得られる。 厳密な数学的解析を通じて、我々の温度誘導型注意機構が指数保証付き最適推論経路に収束することを証明した。 実験の結果、幅広いタスクにわたる推論精度と計算効率が大幅に改善され、高度なAI推論が広範囲のアプリケーションで利用できるようになった。

関連論文リスト

• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [51.32059240975148]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)
• DCIts -- Deep Convolutional Interpreter for time series [0.0]
  このモデルは、最小限の時間枠内で必要なすべてのインタラクションをキャプチャする最適なウィンドウサイズを確実に決定できるように設計されている。 これは、高次項を組み込む際の複雑性のバランスをとるため、最適なモデルの順序を効果的に識別する。 これらの進歩は、力学系のモデリングと理解に重要な意味を持ち、モデルが応用および計算物理学者にとって貴重なツールとなる。
  論文  参考訳（メタデータ） (2025-01-08T08:21:58Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• Interpretable Neural PDE Solvers using Symbolic Frameworks [0.0]
  偏微分方程式 (Partial differential equation, PDE) は、熱や音から量子システムへの現象をモデル化する。 近年のディープラーニングの進歩は、強力なニューラルソルバの開発に繋がった。 しかし、その解釈可能性には大きな課題が残っている。
  論文  参考訳（メタデータ） (2023-10-31T13:56:25Z)
• KL-Divergence Guided Temperature Sampling [5.726259957909055]
  温度が上がると、予測は多様になるが、幻覚にも弱い。 幻覚を緩和するための一般的なアプローチは、ソース/グラウンドのドキュメントを提供することである。 本稿では,デコードステップよりも温度が一定であることの制約を緩和すると共に,その発生源との関係に応じて動的温度を誘導する機構を提案する。
  論文  参考訳（メタデータ） (2023-06-02T06:11:26Z)
• Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
  本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-26T02:15:09Z)
• Interpreting Machine Learning Models for Room Temperature Prediction in Non-domestic Buildings [0.0]
  本研究では,非住宅の室温予測を目的とした解釈可能な機械学習モデルを提案する。 提案モデルでは, 室温をリアルタイムで8時間前に正確に予測できることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-11-23T11:16:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。