Fugu-MT 論文翻訳(概要): Let's Think Dot by Dot: Hidden Computation in Transformer Language Models

論文の概要: Let's Think Dot by Dot: Hidden Computation in Transformer Language Models

arxiv url: http://arxiv.org/abs/2404.15758v1
Date: Wed, 24 Apr 2024 09:30:00 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 19:40:12.076009
Title: Let's Think Dot by Dot: Hidden Computation in Transformer Language Models
Title（参考訳）: Dot by Dot:変換言語モデルに隠れた計算
Authors: Jacob Pfau, William Merrill, Samuel R. Bowman,
Abstract要約: 言語モデルの連鎖応答は、ほとんどのベンチマークのパフォーマンスを改善する。変換器は、2つの難解なアルゴリズムタスクを解くための思考の連鎖の代わりに無意味なフィラートークンを使用できることを示す。フィラートークンを使用する学習は困難であり、収束するためには、具体的で密集した監督が必要である。
参考スコア（独自算出の注目度）: 30.972412126012884
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chain-of-thought responses from language models improve performance across most benchmarks. However, it remains unclear to what extent these performance gains can be attributed to human-like task decomposition or simply the greater computation that additional tokens allow. We show that transformers can use meaningless filler tokens (e.g., '......') in place of a chain of thought to solve two hard algorithmic tasks they could not solve when responding without intermediate tokens. However, we find empirically that learning to use filler tokens is difficult and requires specific, dense supervision to converge. We also provide a theoretical characterization of the class of problems where filler tokens are useful in terms of the quantifier depth of a first-order formula. For problems satisfying this characterization, chain-of-thought tokens need not provide information about the intermediate computational steps involved in multi-token computations. In summary, our results show that additional tokens can provide computational benefits independent of token choice. The fact that intermediate tokens can act as filler tokens raises concerns about large language models engaging in unauditable, hidden computations that are increasingly detached from the observed chain-of-thought tokens.
Abstract（参考訳）: 言語モデルの連鎖応答は、ほとんどのベンチマークのパフォーマンスを改善する。しかしながら、これらのパフォーマンス向上が、人間のようなタスクの分解や、追加トークンが許容するより大きい計算にどの程度貢献できるかは、まだ不明である。中間トークンを使わずに応答できない2つの難解なアルゴリズムタスクを解くという考え方の連鎖の代わりに,トランスフォーマーは無意味なフィラートークン(eg, '...')を使用できることを示す。しかし, フィラートークンの学習は困難であり, 集束するためには, 具体的, 密集的な監督が必要であることが実証的に判明した。また、フィラートークンが一階公式の量化器深さの点で有用であるような問題のクラスを理論的に特徴づける。この特徴を満たすために、連鎖トークンはマルチトークン計算に関わる中間計算ステップに関する情報を提供する必要はない。以上の結果から,トークン選択とは無関係に,追加のトークンが計算上のメリットをもたらすことが示唆された。中間トークンがフィラートークンとして機能するという事実は、観測されたチェーンオブソートトークンから次第に分離される、不明瞭で隠れた計算に関わる大きな言語モデルに対する懸念を提起する。

関連論文リスト

Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers [32.274579719726546]
トークン化は、人間可読テキストをモデル可読な離散トークンでブリッジする重要なステップである。近年の研究では、トークン化剤が不要なモデル挙動を引き出すために利用できることが判明している。非完全トークン、すなわち、バイトレベルバイトペア符号化(BPE)トークン化(英語版)による不完全トークン、すなわち、不完全トークンについて検討する。
論文参考訳（メタデータ） (2024-10-31T07:19:44Z)
ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
論文参考訳（メタデータ） (2024-10-10T20:54:15Z)
ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。 ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
論文参考訳（メタデータ） (2024-06-13T05:17:21Z)
SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
論文参考訳（メタデータ） (2024-05-24T13:35:56Z)
EMS-SD: Efficient Multi-sample Speculative Decoding for Accelerating Large Language Models [40.651650382105636]
Vanillaメソッドは、サンプル間で新しいトークンの数が一貫していることを保証するために、パディングトークンを追加する。本稿では,メモリや計算のオーバーヘッドを増大させることなく,異なるサンプルで受け入れられる不整合トークンの問題を解決する手法を提案する。提案手法は, パディングトークンを追加することなく, 異なるサンプルの予測トークンが矛盾する状況に対処できる。
論文参考訳（メタデータ） (2024-05-13T08:24:21Z)
Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs [3.6722413665749674]
トークン化とは、入力テキストを入力トークンに分割することである。この選択が算術的タスクを用いて数値推論に与える影響について検討する。
論文参考訳（メタデータ） (2024-02-22T18:14:09Z)
Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
論文参考訳（メタデータ） (2024-01-20T20:55:21Z)
Dynamic Token Pruning in Plain Vision Transformers for Semantic Segmentation [18.168932826183024]
本研究では,意味的セグメンテーションのためのトークンの早期終了に基づく動的トークン処理(DToP)手法を提案する。実験により、提案したDToPアーキテクチャは、現在のセマンティックセグメンテーション手法の計算コストを平均20%から35%削減することを示唆している。
論文参考訳（メタデータ） (2023-08-02T09:40:02Z)
Improving Tokenisation by Alternative Treatment of Spaces [7.596737214110957]
空間は常に個々のトークンとして扱われる別のトークン化アプローチを実験する。修正アルゴリズムにより、下流のNLPタスクのパフォーマンスが向上することがわかった。
論文参考訳（メタデータ） (2022-04-08T13:22:30Z)
Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文参考訳（メタデータ） (2021-02-15T15:18:59Z)
Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
論文参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。