論文の概要: Let's Think Dot by Dot: Hidden Computation in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2404.15758v1
• Date: Wed, 24 Apr 2024 09:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:40:12.076009
• Title: Let's Think Dot by Dot: Hidden Computation in Transformer Language Models
• Title（参考訳）: Dot by Dot:変換言語モデルに隠れた計算
• Authors: Jacob Pfau, William Merrill, Samuel R. Bowman,
• Abstract要約: 言語モデルの連鎖応答は、ほとんどのベンチマークのパフォーマンスを改善する。 変換器は、2つの難解なアルゴリズムタスクを解くための思考の連鎖の代わりに無意味なフィラートークンを使用できることを示す。 フィラートークンを使用する学習は困難であり、収束するためには、具体的で密集した監督が必要である。
• 参考スコア（独自算出の注目度）: 30.972412126012884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought responses from language models improve performance across most benchmarks. However, it remains unclear to what extent these performance gains can be attributed to human-like task decomposition or simply the greater computation that additional tokens allow. We show that transformers can use meaningless filler tokens (e.g., '......') in place of a chain of thought to solve two hard algorithmic tasks they could not solve when responding without intermediate tokens. However, we find empirically that learning to use filler tokens is difficult and requires specific, dense supervision to converge. We also provide a theoretical characterization of the class of problems where filler tokens are useful in terms of the quantifier depth of a first-order formula. For problems satisfying this characterization, chain-of-thought tokens need not provide information about the intermediate computational steps involved in multi-token computations. In summary, our results show that additional tokens can provide computational benefits independent of token choice. The fact that intermediate tokens can act as filler tokens raises concerns about large language models engaging in unauditable, hidden computations that are increasingly detached from the observed chain-of-thought tokens.
• Abstract（参考訳）: 言語モデルの連鎖応答は、ほとんどのベンチマークのパフォーマンスを改善する。 しかしながら、これらのパフォーマンス向上が、人間のようなタスクの分解や、追加トークンが許容するより大きい計算にどの程度貢献できるかは、まだ不明である。 中間トークンを使わずに応答できない2つの難解なアルゴリズムタスクを解くという考え方の連鎖の代わりに,トランスフォーマーは無意味なフィラートークン(eg, '...')を使用できることを示す。 しかし, フィラートークンの学習は困難であり, 集束するためには, 具体的, 密集的な監督が必要であることが実証的に判明した。 また、フィラートークンが一階公式の量化器深さの点で有用であるような問題のクラスを理論的に特徴づける。 この特徴を満たすために、連鎖トークンはマルチトークン計算に関わる中間計算ステップに関する情報を提供する必要はない。 以上の結果から,トークン選択とは無関係に,追加のトークンが計算上のメリットをもたらすことが示唆された。 中間トークンがフィラートークンとして機能するという事実は、観測されたチェーンオブソートトークンから次第に分離される、不明瞭で隠れた計算に関わる大きな言語モデルに対する懸念を提起する。

関連論文リスト

• Token Pruning in Multimodal Large Language Models: Are We Solving the Right Problem? [19.35502303812707]
  マルチモーダル大言語モデル(MLLM)は、クロスモーダルな理解と生成に顕著な性能を示したが、それでも厳しい推論コストに悩まされている。 近年,MLLMの冗長なトークンを識別し,計算コストとKVストレージコストを削減するトークンプルーニングにより,この問題を解決するための豊富な研究が提案されている。 本稿では,これらの疑問に一つずつ答え,将来的なトークンプルーニング手法の設計について考察する。
  論文  参考訳（メタデータ） (2025-02-17T07:05:36Z)
• Stop Looking for Important Tokens in Multimodal Language Models: Duplication Matters More [18.928285521147057]
  トークンがプルーニングされるべきかどうかを決定するのに、重要さは理想的な指標ではないことを示す。 DART(Duplication-Aware Reduction of Tokens)を提案する。 実験によると、DARTは88.9%の視覚トークンを出力でき、同等のパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-02-17T06:56:28Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning [46.43130011147807]
  特に、トークンとボイラープレートトークンの推論は、重要性と学習の複雑さにおいて大きく異なります。 本稿では,適応トークン識別のための新しいShuffle-Aware Discriminator (SHAD)を提案する。 SHADを用いて、微調整中の推論トークンを適応的に強調するReasoning-Highlighted Fine-Tuning (RFT)法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T12:06:24Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のない特別なトークン(セパレータ)は、意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグイン・アンド・プレイのフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)
• Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers [32.274579719726546]
  トークン化は、人間可読テキストをモデル可読な離散トークンでブリッジする重要なステップである。 近年の研究では、トークン化剤が不要なモデル挙動を引き出すために利用できることが判明している。 非完全トークン、すなわち、バイトレベルバイトペア符号化(BPE)トークン化(英語版)による不完全トークン、すなわち、不完全トークンについて検討する。
  論文  参考訳（メタデータ） (2024-10-31T07:19:44Z)
• ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
  我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。 推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。 画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-10-10T20:54:15Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Dynamic Token Pruning in Plain Vision Transformers for Semantic Segmentation [18.168932826183024]
  本研究では,意味的セグメンテーションのためのトークンの早期終了に基づく動的トークン処理(DToP)手法を提案する。 実験により、提案したDToPアーキテクチャは、現在のセマンティックセグメンテーション手法の計算コストを平均20%から35%削減することを示唆している。
  論文  参考訳（メタデータ） (2023-08-02T09:40:02Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。