論文の概要: When a language model is optimized for reasoning, does it still show embers of autoregression? An analysis of OpenAI o1

• arxiv url: http://arxiv.org/abs/2410.01792v2
• Date: Fri, 4 Oct 2024 03:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 15:14:33.722842
• Title: When a language model is optimized for reasoning, does it still show embers of autoregression? An analysis of OpenAI o1
• Title（参考訳）: 言語モデルが推論に最適化されているとき、自動回帰のエンバーをまだ示しているのか? OpenAI o1の分析
• Authors: R. Thomas McCoy, Shunyu Yao, Dan Friedman, Mathew D. Hardy, Thomas L. Griffiths,
• Abstract要約: o1はOpenAIの新しいシステムで、従来の言語モデルと異なり、推論に最適化されている。 多くの場合、o1は従来のLLMよりも大幅に優れていた。 しかし、o1は以前のシステムで観測したのと同じ定性的傾向を示している。
• 参考スコア（独自算出の注目度）: 20.093907710471317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In "Embers of Autoregression" (McCoy et al., 2023), we showed that several large language models (LLMs) have some important limitations that are attributable to their origins in next-word prediction. Here we investigate whether these issues persist with o1, a new system from OpenAI that differs from previous LLMs in that it is optimized for reasoning. We find that o1 substantially outperforms previous LLMs in many cases, with particularly large improvements on rare variants of common tasks (e.g., forming acronyms from the second letter of each word in a list, rather than the first letter). Despite these quantitative improvements, however, o1 still displays the same qualitative trends that we observed in previous systems. Specifically, o1 -- like previous LLMs -- is sensitive to the probability of examples and tasks, performing better and requiring fewer "thinking tokens" in high-probability settings than in low-probability ones. These results show that optimizing a language model for reasoning can mitigate but might not fully overcome the language model's probability sensitivity.
• Abstract（参考訳）: We showed that several large language model (LLMs) have some important limit that are a origins in next-word prediction。 ここでは,従来のLLMと異なり,推論に最適化されたOpenAIの新しいシステムであるo1について,これらの問題が継続するかどうかを検討する。 多くの場合、o1 は従来の LLM よりも大幅に優れており、特に希少な共通タスク(例えば、最初の文字ではなく、リスト内の各単語の2番目の文字から頭字語を生成する)に大きく改善されている。 しかし、これらの定量的改善にもかかわらず、o1は以前のシステムで観測したのと同じ定性的傾向を示している。 具体的には、従来のLLMと同様、o1は例やタスクの確率に敏感で、高確率設定では低確率設定よりも優れたパフォーマンスと“トークンを考える”必要が少なくなっています。 これらの結果は、推論のための言語モデルの最適化は緩和できるが、言語モデルの確率感度を完全に克服できないことを示している。

関連論文リスト

• Language Generation with Strictly Proper Scoring Rules [70.340673452404]
  本稿では,非局所的なスコアリングルールを用いた言語モデリングが可能な,スコアリングルールを言語生成に適用するための戦略を提案する。 対数スコアの代替として、ブライアスコアと球面スコアの2つの古典的厳密なスコアルールを用いて言語生成モデルを訓練する。
  論文  参考訳（メタデータ） (2024-05-29T09:09:00Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models [27.491408293411734]
  大規模言語モデル(LLM)は、言語生成と命令の後に有望な結果を示すが、しばしば「ハロシン化」を示す。 我々の研究は単純な冗長性を導入している: 自動回帰テキストのすべてのトークンが、基礎となる意味を等しく表しているわけではない。
  論文  参考訳（メタデータ） (2023-07-03T22:17:16Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Characterizing Attribution and Fluency Tradeoffs for Retrieval-Augmented Large Language Models [6.425088990363101]
  本研究では, 大規模言語モデルにおけるフラレンシと帰属の関係について検討した。 より大きなモデルは、流布と帰属の両方において、より優れた結果をもたらす傾向があることを示す。 そこで本研究では,より小さなモデルで大きなモデルとのギャップを埋めることと,トップk検索のメリットを両立できるレシピを提案する。
  論文  参考訳（メタデータ） (2023-02-11T02:43:34Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)
• ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
  本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。 我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
  論文  参考訳（メタデータ） (2022-10-04T00:34:01Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。