論文の概要: Chain of Thought in Order: Discovering Learning-Friendly Orders for Arithmetic

• arxiv url: http://arxiv.org/abs/2506.23875v1
• Date: Mon, 30 Jun 2025 14:05:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.093866
• Title: Chain of Thought in Order: Discovering Learning-Friendly Orders for Arithmetic
• Title（参考訳）: 思考の秩序の連鎖 : 算術の学習フレンドリな秩序の発見
• Authors: Yuta Sato, Kazuhiko Kawamoto, Hiroshi Kera,
• Abstract要約: 本研究では,デコーダの入力トークンを変換器が算術的タスクを学習するための学習フレンドリーなシーケンスに再順序付けるという,思考の連鎖を解き放つ新しい課題に対処する。 提案したパイプラインは、まず異なる順序で配列されたターゲットシーケンスの混合でトランスフォーマーを訓練し、その後、ベニグオーダーを早い段階で損失が減少しているものと識別する。 4つの順序に敏感な算術的タスクの実験により,10億の候補の中から学習に優しい順序を同定した。
• 参考スコア（独自算出の注目度）: 5.2980803808373516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The chain of thought is fundamental in Transformers, which is to perform step-by-step reasoning. Besides what intermediate steps work, the order of these steps critically affects the difficulty of the reasoning. This study addresses a novel task of unraveling chain of thought - reordering decoder input tokens to a learning-friendly sequence for Transformers to learn arithmetic tasks. The proposed pipeline first trains a Transformer on a mixture of target sequences arranged in different orders and then identifies benign orders as those with fast loss drops in the early stage. As the search space grows factorially with sequence length, we propose a two-stage hierarchical approach for inter- and intra-block reordering. Experiments on four order-sensitive arithmetic tasks show that our method identifies a learning-friendly order out of a few billion candidates. Notably, on the multiplication task, it recovered the reverse-digit order reported in prior studies.
• Abstract（参考訳）: 思考の連鎖はトランスフォーマーの基本であり、ステップバイステップの推論を実行する。 中間ステップの動作に加えて、これらのステップの順序は推論の難しさに重大な影響を及ぼす。 本研究では,デコーダの入力トークンを変換器が算術的タスクを学習するための学習フレンドリーなシーケンスに再順序付けるという,思考の連鎖を解き放つ新しい課題に対処する。 提案したパイプラインは、まず異なる順序で配列されたターゲットシーケンスの混合でトランスフォーマーを訓練し、その後、ベニグオーダーを早い段階で損失が減少しているものと識別する。 探索空間はシーケンス長に比例して増大するので、ブロック間およびブロック内リオーダーのための2段階階層的アプローチを提案する。 4つの順序に敏感な算術的タスクの実験により,10億の候補の中から学習に優しい順序を同定した。 特に、乗算タスクでは、以前の研究で報告された逆桁の順序を回復した。

関連論文リスト

• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers [0.0]
  最小限の層を持つ変圧器でのみ解決できる,単純で一般的な推論タスクである検索問題を紹介します。 大規模な言語モデルは、微調整をせずに、異なるプロンプト式でタスクを解くことができることを実証的に示します。
  論文  参考訳（メタデータ） (2024-11-18T23:12:13Z)
• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• Chunk, Align, Select: A Simple Long-sequence Processing Method for Transformers [24.109312575970456]
  そこで本研究では,オフザシェルフ事前学習型トランスフォーマーにおいて,より長いシーケンス処理を実現するための簡単なフレームワークを提案する。 提案手法では,各時系列入力をチャンクのバッチに分割し,エンコーディングステップ中にインターチャンク情報をアライメントする。 我々は,変圧器のデコーダを環境とみなす効果的な隠れ選択ポリシーを学習する。
  論文  参考訳（メタデータ） (2023-08-25T05:52:05Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。