論文の概要: DefInt: A Default-interventionist Framework for Efficient Reasoning with
Hybrid Large Language Models
- arxiv url: http://arxiv.org/abs/2402.02563v1
- Date: Sun, 4 Feb 2024 16:45:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:04:32.906533
- Title: DefInt: A Default-interventionist Framework for Efficient Reasoning with
Hybrid Large Language Models
- Title(参考訳): DefInt: ハイブリッド大言語モデルによる効率的な推論のためのデフォルト・インターベンショナリストフレームワーク
- Authors: Yu Shang, Yu Li, Fengli Xu, Yong Li
- Abstract要約: 本稿では,ハイブリッド大言語モデルの相乗的ポテンシャルを解き放つために,デフォルト・インターベンショニスト・フレームワーク(DefInt)を提案する。
Defintは、最先端の推論精度とソリューションの多様性を一貫して達成する。
トークンのコストは第2の正確なベースラインに比べて49%-79%削減される。
- 参考スコア(独自算出の注目度): 21.266283247135892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown impressive emergent abilities in a
wide range of tasks, but still face challenges in handling complex reasoning
problems. Previous works like chain-of-thought (CoT) and tree-of-thoughts(ToT)
have predominately focused on enhancing accuracy, but overlook the rapidly
increasing token cost, which could be particularly problematic for open-ended
real-world tasks with huge solution spaces. Motivated by the dual process
theory of human cognition, we propose a Default-Interventionist framework
(DefInt) to unleash the synergistic potential of hybrid LLMs. By default,
DefInt uses smaller-scale language models to generate low-cost reasoning
thoughts, which resembles the fast intuitions produced by System 1. If the
intuitions are considered with low confidence, DefInt will invoke the
reflective reasoning of scaled-up language models as the intervention of System
2, which can override the default thoughts and rectify the reasoning process.
Experiments on five representative reasoning tasks show that DefInt
consistently achieves state-of-the-art reasoning accuracy and solution
diversity. More importantly, it substantially reduces the token cost by 49%-79%
compared to the second accurate baselines. Specifically, the open-ended tasks
have an average 75% token cost reduction. Code repo with all prompts will be
released upon publication.
- Abstract(参考訳): 大規模言語モデル(llm)は、幅広いタスクにおいて目覚ましい能力を示してきたが、複雑な推論問題に対処する上での課題に直面している。
chain-of-thought(cot)やtree-of-thoughts(tot)といった以前の作品は、精度向上に重点を置いてきたが、急速に増加するトークンコストを見落としている。
人間の認知の二重プロセス理論に触発されて,ハイブリッドLLMの相乗的ポテンシャルを解き放つデフォルト・インターベンショニスト・フレームワーク(DefInt)を提案する。
デフォルトでは、DefIntは小規模の言語モデルを使用して、システム1の高速な直感に類似した低コストな推論思考を生成する。
直観が低い信頼度で考慮された場合、defintはシステム2の介入としてスケールアップ言語モデルの反映的推論を実行し、デフォルトの思考を上書きし、推論プロセスを正す。
5つの代表的な推論タスクの実験は、DefIntが常に最先端の推論精度と解の多様性を達成していることを示している。
さらに重要なのは、トークンのコストを第2の正確なベースラインに比べて49%-79%削減することです。
具体的には、オープンエンドタスクは平均75%のトークンコスト削減がある。
すべてのプロンプトによるコードレポジトリは、公開時に公開される。
関連論文リスト
- Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳(メタデータ) (2024-03-08T19:18:53Z) - OVM, Outcome-supervised Value Models for Planning in Mathematical Reasoning [15.59540726867483]
我々は、ガイド付き復号法では、ステップごとの正当性を保証するよりも、不完全推論経路の可能性を評価する方が有利であると主張している。
誘導復号化のための$textitoutcomeの監督が本質的に価値モデルとして機能するという発見に触発されて、アウトカム管理価値モデル(OVM)を提案する。
GSM8KとGame of 24の2つの多段階数学的推論データセットに対する実験により,OVMモデルの優れた性能が示された。
論文 参考訳(メタデータ) (2023-11-16T09:56:28Z) - DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning
in Language Models [28.712359821231182]
大規模言語モデル(LLM)は、思考の連鎖(CoT)を利用して人間の思考を模倣することによって、言語モダリティの多段階的推論において顕著な進歩を遂げた。
これらの進歩をマルチモーダルな文脈に移すことは、労働集約的アノテーションの非現実的な必要性に限らず、より高い課題をもたらす。
本研究では,複数モーダリティを推論に組み込んだDDCoTプロンプトを提案する。
論文 参考訳(メタデータ) (2023-10-25T08:03:10Z) - Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
論文 参考訳(メタデータ) (2023-08-31T14:31:48Z) - Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。
本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。
GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
論文 参考訳(メタデータ) (2023-05-20T16:41:48Z) - Multimodal Chain-of-Thought Reasoning in Language Models [80.902171201496]
大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)を利用して複雑な推論において印象的な性能を示した。
本稿では,視覚機能を分離したトレーニングフレームワークに組み込んだマルチモーダルCoTを提案する。
Multimodal-CoTでは、ScienceQAベンチマークで10億のパラメータ未満のモデルで、従来の最先端のLCM(GPT-3.5)を16%(75.17%->91.68%)上回るパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-02-02T07:51:19Z) - On Second Thought, Let's Not Think Step by Step! Bias and Toxicity in
Zero-Shot Reasoning [41.547336426678605]
感度領域におけるゼロショットCoT推論は、有害または望ましくない出力を生み出す可能性を大幅に高めることを示す。
我々の研究は、ゼロショットのCoTは社会的に重要なタスク、特に疎外化グループやセンシティブなトピックが関与する場合に注意を払って使用するべきであることを示唆している。
論文 参考訳(メタデータ) (2022-12-15T18:59:32Z) - Chaos Theory and Adversarial Robustness [0.0]
本稿では、カオス理論の考え方を用いて、ニューラルネットワークが敵対的攻撃に対してどのような影響を受けやすいか、あるいは堅牢であるかを説明し、分析し、定量化する。
我々は、与えられた入力に対する摂動によってモデルの出力がどれほど大きく変化するかをキャプチャする、$hat Psi(h,theta)$によって与えられる新しい計量である「感受性比」を示す。
論文 参考訳(メタデータ) (2022-10-20T03:39:44Z) - Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。
我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
論文 参考訳(メタデータ) (2022-10-04T19:52:09Z) - From Checking to Inference: Actual Causality Computations as
Optimization Problems [79.87179017975235]
本稿では、最適化問題として二元非巡回モデルよりも、因果推論の異なる概念を定式化するための新しいアプローチを提案する。
8000ドル以上の変数を持つモデルを用いて,MaxSAT が ILP を上回り,数秒単位でチェック処理を行う場合が多い。
論文 参考訳(メタデータ) (2020-06-05T10:56:52Z) - An Information Bottleneck Approach for Controlling Conciseness in
Rationale Extraction [84.49035467829819]
我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。
我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
論文 参考訳(メタデータ) (2020-05-01T23:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。