論文の概要: Reducing Reasoning Costs - The Path of Optimization for Chain of Thought via Sparse Attention Mechanism

• arxiv url: http://arxiv.org/abs/2411.09111v1
• Date: Thu, 14 Nov 2024 00:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:24:09.914739
• Title: Reducing Reasoning Costs - The Path of Optimization for Chain of Thought via Sparse Attention Mechanism
• Title（参考訳）: 推論コストの削減 -スパースアテンション機構による思考の連鎖の最適化の道程
• Authors: Libo Wang,
• Abstract要約: この研究は、いくつかの関連するトークンにのみ焦点をあてるスパースアテンションメカニズムを使うことを提案する。 この実験は、MIT OpenCourseWareの線形代数テスト問題の解法において、このモデルの推論時間、正当性スコア、思考長の連鎖とo1プレビューを比較して比較した。
• 参考スコア（独自算出の注目度）: 4.586907225774023
• License:
• Abstract: In order to address the chain of thought in the large language model inference cost surge, this research proposes to use a sparse attention mechanism that only focuses on a few relevant tokens. The researcher constructed a new attention mechanism and used GiantRabbit trained with custom GPTs as an experimental tool. The experiment tested and compared the reasoning time, correctness score and chain of thought length of this model and o1 Preview in solving the linear algebra test questions of MIT OpenCourseWare. The results show that GiantRabbit's reasoning time and chain of thought length are significantly lower than o1 Preview, confirming the feasibility of the sparse attention mechanism in reducing chain of thought reasoning. Detailed architectural details and experimental process have been uploaded to Github, the link is:https://github.com/brucewang123456789/GeniusTrail.git.
• Abstract（参考訳）: 大規模言語モデル推論コストの急上昇における思考の連鎖に対処するため,本研究では,いくつかの関連するトークンにのみ焦点をあてるスパースアテンション機構の利用を提案する。 研究者は新しい注意機構を構築し、実験ツールとしてカスタムGPTで訓練されたGiantRabbitを使用した。 この実験は、MIT OpenCourseWareの線形代数テスト問題の解法において、このモデルの推論時間、正当性スコア、思考長の連鎖とo1プレビューを比較して比較した。 その結果、ジャイアントラブビットの推論時間と思考長の連鎖は、o1プレビューよりも著しく低く、思考推理の連鎖を減らしたスパースアテンション機構の可能性が確認された。 詳細と実験プロセスがGithubにアップロードされた。https://github.com/brucewang123456789/GeniusTrail.git.com/

関連論文リスト

• Distilling Reasoning Ability from Large Language Models with Adaptive Thinking [54.047761094420174]
  思考の微調整(cot-finetuning)の連鎖は、小さな言語モデル(SLM)を特定のタスクに対するパフォーマンス向上の推論能力で実現することを目的としている。 既存のコトファインタニング法の多くは事前に考えられたメカニズムを採用しており、SLMは答えを出す前に理性を生成することができる。 このメカニズムにより、SLMは複雑な質問を分析して考えることができるが、答えの正しさは論理的に小さな誤りに非常に敏感になる。 理性よりも先に回答を生成するための頑健な後思考機構を提案する。
  論文  参考訳（メタデータ） (2024-04-14T07:19:27Z)
• You Only Forward Once: Prediction and Rationalization in A Single Forward Pass [10.998983921416533]
  教師なしの合理性抽出は、合理性のないモデル予測をサポートするために、簡潔で連続的なテキストスニペットを抽出することを目的としている。 これまでの研究では、RNP(Rationalizing Neural Prediction)フレームワークと呼ばれる2段階のフレームワークを使用してきた。 そこで我々は,論理学の緩和版から派生した,単相一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一
  論文  参考訳（メタデータ） (2023-11-04T08:04:28Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)
• How Does Data Freshness Affect Real-time Supervised Learning? [15.950108699395077]
  実時間教師付き学習の性能は,特徴が陳腐化するにつれて単調に低下することを示す。 実時間における推論誤差を最小限に抑えるため,提案手法を新たに提案する。 提案したスケジューリングアルゴリズムの利点を説明するために,データ駆動型評価法を提案する。
  論文  参考訳（メタデータ） (2022-08-15T00:14:13Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)
• Embarrassingly Simple Unsupervised Aspect Extraction [4.695687634290403]
  本稿では,感情分析におけるアスペクト識別の簡易かつ効果的な方法を提案する。 提案手法は単語埋め込みとPOSタグのみを必要とする。 本稿では,新しいシングルヘッドアテンション機構であるContrastive Attention (CAt)を紹介する。
  論文  参考訳（メタデータ） (2020-04-28T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。