論文の概要: Revisiting Parallel Context Windows: A Frustratingly Simple Alternative
and Chain-of-Thought Deterioration
- arxiv url: http://arxiv.org/abs/2305.15262v1
- Date: Wed, 24 May 2023 15:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 14:39:59.307820
- Title: Revisiting Parallel Context Windows: A Frustratingly Simple Alternative
and Chain-of-Thought Deterioration
- Title(参考訳): 並列コンテキストを再考する Windows: フラストレーションにシンプルな代替手段とチェーン・オブ・フォールト劣化
- Authors: Kejuan Yang, Xiao Liu, Kaiwen Men, Aohan Zeng, Yuxiao Dong, Jie Tang
- Abstract要約: 最近の並列統合手法であるParallel Context Windows (PCW) の評価における2つの重要な限界を同定する。
まず、簡単なが強いベースライン、重み付けされた和アンサンブルが、文脈内数ショットの分類に欠けていることを示す。
既存のPCW設計では,実世界のアプリケーションにおける長大な文書処理において,十分な改善と実用性は保証されない可能性が示唆された。
- 参考スコア(独自算出の注目度): 21.361442677969308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We identify two crucial limitations in the evaluation of recent
parallel-integrated method Parallel Context Windows (PCW), which extends the
maximum context lengths of language models, e.g., 2048 for LLaMA, by harnessing
window-wise attention and positional embedding techniques. We first show that a
simple yet strong baseline, weighted sum ensemble, is missing for the
in-context few-shot classification. Moreover, on more challenging
Chain-of-Thought (CoT) reasoning (e.g., HotpotQA), PCW would present unexpected
deterioration regarding question miscomprehension and false inference. Based on
our findings, we suggest that the existing PCW design may not guarantee
sufficient improvement and practicality in handling lengthy documents in
real-world applications. More community efforts on enabling language models'
long context understanding ability should be paid.
- Abstract(参考訳): 我々は,最近の並列統合手法であるParallel Context Windows (PCW)の評価において,LLaMAの2048のような言語モデルの最大コンテキスト長を拡張する2つの重要な制約を,ウィンドウワイドアテンションと位置埋め込み技術を用いて同定する。
まず,単純な重み付き和アンサンブルが,文脈内少数ショット分類では欠落していることを示す。
さらに、より挑戦的な CoT (Chain-of-Thought) 推論(HotpotQA など)では、PCW は問題理解と偽推論に関して予期せぬ劣化を示す。
この結果から,既存のPCW設計では,実世界のアプリケーションにおける文書の扱いにおいて,十分な改善と実用性は得られないことが示唆された。
言語モデルの長いコンテキスト理解能力を実現するためのコミュニティの努力は、報われるべきです。
関連論文リスト
- ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する
既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。
優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
論文 参考訳(メタデータ) (2024-03-21T11:34:26Z) - How Interpretable are Reasoning Explanations from Prompting Large Language Models? [34.4659592398593]
本稿では,多面的解釈可能性の評価を包括的かつ多面的に行い,信頼度だけでなく,コモンセンス推論ベンチマークにおける堅牢性や有用性についても検討する。
さらに,複数次元の解釈可能性に70%以上の改善をもたらす自己包括的アライメント・アライメント・オブ・シント(Self-Entailment-Alignment Chain-of-Thought)と呼ばれる,単純な解釈可能性アライメント手法を導入する。
論文 参考訳(メタデータ) (2024-02-19T06:11:28Z) - An Optimal Transport Approach for Computing Adversarial Training Lower
Bounds in Multiclass Classification [3.447848701446988]
強靭性を強制する一般的なパラダイムは、敵対的訓練(AT)であるが、これは多くの計算的および理論的困難をもたらす。
最近の研究は、ATとマルチクラス分類設定(MOT)の接続を開発し、この問題を研究するための新しいツールセットをアンロックしている。
本稿では,最適対向リスクの普遍的下界を計算するための計算処理可能な数値アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-17T13:03:47Z) - Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context
Reasoning with Language Models [58.41943058963672]
我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。
RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。
GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
論文 参考訳(メタデータ) (2023-06-12T06:34:16Z) - Free Lunch for Efficient Textual Commonsense Integration in Language
Models [20.02647320786556]
類似したコモンセンス記述を持つサンプルを1つのバッチにグループ化し、複数のサンプル間でエンコードされた記述を再利用する。
大規模な実験では、提案したバッチ分割手法が性能を保ちながら計算コストを効果的に削減することを示した。
効率の改善は、大規模なデータセットや、メモリ容量の大きいデバイスでより顕著であり、大規模なアプリケーションに実用性があることを証明している。
論文 参考訳(メタデータ) (2023-05-24T19:14:57Z) - Visual Chain of Thought: Bridging Logical Gaps with Multimodal
Infillings [61.04460792203266]
本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。
本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
論文 参考訳(メタデータ) (2023-05-03T17:58:29Z) - Multimodal Chain-of-Thought Reasoning in Language Models [80.902171201496]
大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)を利用して複雑な推論において印象的な性能を示した。
本稿では,視覚機能を分離したトレーニングフレームワークに組み込んだマルチモーダルCoTを提案する。
Multimodal-CoTでは、ScienceQAベンチマークで10億のパラメータ未満のモデルで、従来の最先端のLCM(GPT-3.5)を16%(75.17%->91.68%)上回るパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-02-02T07:51:19Z) - Improved Branch and Bound for Neural Network Verification via Lagrangian
Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。
活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。
BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文 参考訳(メタデータ) (2021-04-14T09:22:42Z) - Learning Implicitly with Noisy Data in Linear Arithmetic [94.66549436482306]
PAC-セマンティックスにおける暗黙学習を拡張し、線形算術の言語における間隔としきい値の不確実性を扱う。
最適線形プログラミング対象制約の学習に対する我々の暗黙的アプローチは、実際的な明示的アプローチよりも著しく優れていることを示す。
論文 参考訳(メタデータ) (2020-10-23T19:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。