論文の概要: Thinking Tokens for Language Modeling

• arxiv url: http://arxiv.org/abs/2405.08644v1
• Date: Tue, 14 May 2024 14:21:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 13:49:19.558270
• Title: Thinking Tokens for Language Modeling
• Title（参考訳）: 言語モデリングのためのトークンを考える
• Authors: David Herel, Tomas Mikolov,
• Abstract要約: 言語モデルは難しい計算でしばしば間違いをする。 これは通常、複雑な推論を行うことができないことから説明される。 我々は、複雑な問題に遭遇するたびにモデルがより多くの計算を行うことを可能にする特別な「シンキングトークン」を使うことを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How much is 56 times 37? Language models often make mistakes in these types of difficult calculations. This is usually explained by their inability to perform complex reasoning. Since language models rely on large training sets and great memorization capability, naturally they are not equipped to run complex calculations. However, one can argue that humans also cannot perform this calculation immediately and require a considerable amount of time to construct the solution. In order to enhance the generalization capability of language models, and as a parallel to human behavior, we propose to use special 'thinking tokens' which allow the model to perform much more calculations whenever a complex problem is encountered.
• Abstract（参考訳）: 56倍37倍ですか。 言語モデルはこのような難解な計算でしばしば間違いを犯す。 これは通常、複雑な推論を行うことができないことから説明される。 言語モデルは、大きなトレーニングセットと大きな記憶能力に依存しているため、当然、複雑な計算を実行する能力は備わっていない。 しかし、人間はこの計算をすぐに行うことができず、解を構築するのにかなりの時間を要すると主張することができる。 言語モデルの一般化能力を高めるとともに,人間の行動と平行して,複雑な問題が発生した場合に,モデルがより多くの計算を行うことのできる特別な「思考トークン」を提案する。

関連論文リスト

• Frontier Language Models are not Robust to Adversarial Arithmetic, or "What do I need to say so you agree 2+2=5? [88.59136033348378]
  言語モデルアライメントのための単純なテストベッドを提供する逆算術の問題を考察する。 この問題は自然言語で表される算術的な問題から成り、質問が完了する前に任意の逆文字列を挿入する。 これらの攻撃に対して、強化学習やエージェント構成ループを通じて、モデルを部分的に強化できることが示される。
  論文  参考訳（メタデータ） (2023-11-08T19:07:10Z)
• Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
  大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。 この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
  論文  参考訳（メタデータ） (2023-10-09T06:54:02Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Overcoming Barriers to Skill Injection in Language Modeling: Case Study in Arithmetic [14.618731441943847]
  我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。 具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
  論文  参考訳（メタデータ） (2022-11-03T18:53:30Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• Investigating the Limitations of the Transformers with Simple Arithmetic Tasks [10.23804850480924]
  その結果,表層形状における数値の表現方法がモデルの精度に強い影響を与えていることがわかった。 現代の事前学習型言語モデルは,ごく少数の例から容易に算術を学習できると結論付けている。
  論文  参考訳（メタデータ） (2021-02-25T17:22:53Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。