論文の概要: A Theory of Learning with Autoregressive Chain of Thought

• arxiv url: http://arxiv.org/abs/2503.07932v1
• Date: Tue, 11 Mar 2025 00:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:46:29.804001
• Title: A Theory of Learning with Autoregressive Chain of Thought
• Title（参考訳）: 自己回帰的思考による学習の理論
• Authors: Nirmit Joshi, Gal Vardi, Adam Block, Surbhi Goel, Zhiyuan Li, Theodor Misiakiewicz, Nathan Srebro,
• Abstract要約: チェーンオブ思考が観察された場合と,即時回答ペアのみをトレーニングする場合の両方において,学習問題を定式化する。 本稿では,普遍的な表現可能性と計算的に抽出可能な連鎖学習を実現するための,シンプルなベースクラスを提案する。
• 参考スコア（独自算出の注目度）: 46.4004951842894
• License:
• Abstract: For a given base class of sequence-to-next-token generators, we consider learning prompt-to-answer mappings obtained by iterating a fixed, time-invariant generator for multiple steps, thus generating a chain-of-thought, and then taking the final token as the answer. We formalize the learning problems both when the chain-of-thought is observed and when training only on prompt-answer pairs, with the chain-of-thought latent. We analyze the sample and computational complexity both in terms of general properties of the base class (e.g. its VC dimension) and for specific base classes such as linear thresholds. We present a simple base class that allows for universal representability and computationally tractable chain-of-thought learning. Central to our development is that time invariance allows for sample complexity that is independent of the length of the chain-of-thought. Attention arises naturally in our construction.
• Abstract（参考訳）: 与えられたシークエンス・ツー・ネクスト・トーケン・ジェネレータの基底クラスについて、固定時間不変ジェネレータを複数のステップで繰り返して、チェーン・オブ・シントを生成し、最終的なトークンを答えとして取り込むことにより得られるプロンプト・ツー・アンサー・マッピングを学習することを検討する。 チェーン・オブ・シークレットが観測された場合と、インシプロン・オブ・シークレットのペアのみをトレーニングする場合と、チェーン・オブ・シークレットの潜入者を用いて学習問題を定式化する。 我々は、基底クラス(例えば、VC次元)の一般的な性質と線形しきい値のような特定の基底クラスの両方の観点から、サンプルと計算の複雑さを分析する。 本稿では,普遍的な表現可能性と計算的に抽出可能な連鎖学習を実現するための,シンプルなベースクラスを提案する。 私たちの開発の中心は、時間不変性は、思考の連鎖の長さに依存しないサンプルの複雑さを可能にします。 私たちの建設には自然に注意が生じる。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Auto-Regressive Next-Token Predictors are Universal Learners [17.416520406390415]
  線形次トーケン予測器のような単純なモデルでさえ、チューリングマシンによって効率的に計算される任意の関数を近似することができることを示す。 また、線形ネットワークや浅層多層パーセプトロン(MLP)のような単純な次世代予測器が、テキスト生成や算術タスクにおいて非自明な性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-13T14:15:03Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• Arbitrarily Large Labelled Random Satisfiability Formulas for Machine Learning Training [5.414308305392762]
  決定問題を解くことなく、任意の大きさのランダムな式を正しくラベル付けする方法を示す。 我々は1万変数の式で満足度を予測するタスクのために、既存の最先端モデルを訓練する。 同じデータセットで99%をランダムに推測するのに勝るものは見当たらない。
  論文  参考訳（メタデータ） (2022-11-21T17:52:13Z)
• Multi-Label Quantification [78.83284164605473]
  定量化とは、教師なしデータサンプルにおいて、興味あるクラスの相対周波数の予測子を生成する教師付き学習課題である。 本研究では,その相対頻度をより正確に予測するために,興味あるクラス間の依存関係を活用しようとするクラス有病率値の推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-15T11:29:59Z)
• Unsupervised Learning of Equivariant Structure from Sequences [30.974508897223124]
  我々は,少なくとも3つの長さの時系列から対称性を学習するための教師なしのフレームワークを提案する。 当社のフレームワークでは,データセットの非絡み合い構造が副産物として自然に現れることを実証します。
  論文  参考訳（メタデータ） (2022-10-12T07:29:18Z)
• Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought [10.524051272257614]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトが与えられた顕著な推論能力を示している。 本稿では, PrOntoQAと呼ばれる合成質問応答データセットを提案し, それぞれの例を合成世界モデルとして生成する。 これにより、生成された連鎖を形式解析の象徴的な証明に解析することができる。
  論文  参考訳（メタデータ） (2022-10-03T21:34:32Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Seq2Tens: An Efficient Representation of Sequences by Low-Rank Tensor Projections [11.580603875423408]
  時系列、ビデオ、テキストなどの時系列データは分析が難しい。 この中心にあるのは非可換性(英語版)であり、列の要素を並べ替えることがその意味を完全に変えることができるという意味でである。 このような依存を捉えるために、古典的な数学的対象、テンソル代数を用いる。
  論文  参考訳（メタデータ） (2020-06-12T09:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。