論文の概要: How Large Language Models (LLMs) Extrapolate: From Guided Missiles to Guided Prompts

• arxiv url: http://arxiv.org/abs/2501.10361v1
• Date: Thu, 05 Dec 2024 19:54:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 08:18:15.528100
• Title: How Large Language Models (LLMs) Extrapolate: From Guided Missiles to Guided Prompts
• Title（参考訳）: 大型言語モデル(LLM)はどのように外挿されるか: 誘導ミサイルから誘導プロンプトへ
• Authors: Xuenan Cao,
• Abstract要約: 補間(英: extrapolation)とは、系列の次の値を予測する統計関数である。 外挿はGPTの成功と幻覚を取り巻く論争に寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper argues that we should perceive LLMs as machines of extrapolation. Extrapolation is a statistical function for predicting the next value in a series. Extrapolation contributes to both GPT successes and controversies surrounding its hallucination. The term hallucination implies a malfunction, yet this paper contends that it in fact indicates the chatbot efficiency in extrapolation, albeit an excess of it. This article bears a historical dimension: it traces extrapolation to the nascent years of cybernetics. In 1941, when Norbert Wiener transitioned from missile science to communication engineering, the pivotal concept he adopted was none other than extrapolation. Soviet mathematician Andrey Kolmogorov, renowned for his compression logic that inspired OpenAI, had developed in 1939 another extrapolation project that Wiener later found rather like his own. This paper uncovers the connections between hot war science, Cold War cybernetics, and the contemporary debates on LLM performances.
• Abstract（参考訳）: 本稿では,LLMを外挿機械として認識すべきであると主張している。 補間(英: extrapolation)とは、系列の次の値を予測する統計関数である。 外挿はGPTの成功と幻覚を取り巻く論争に寄与する。 幻覚という用語は機能不全を意味するが、この論文は実際には外挿におけるチャットボットの効率を示すが、その超過は意味する。 この記事には歴史的側面があり、初期のサイバーネティクスの時代の外挿を辿っている。 1941年、ノーバート・ウィーナーがミサイル科学から通信工学に移行した際、彼が採用した重要な概念は外挿に過ぎなかった。 ソ連の数学者アンドレイ・コルモゴロフ(Andrey Kolmogorov)は、OpenAIにインスパイアされた圧縮論理で有名だが、1939年にヴィエネルが後に発見した別の外挿プロジェクトを開発した。 本稿では, 熱戦科学, 冷戦サイバネティックス, およびLLM性能に関する現代論争の関連を明らかにする。

関連論文リスト

• Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
  本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。 トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。 双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
  論文  参考訳（メタデータ） (2024-10-05T02:58:25Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Collateral facilitation in humans and language models [0.6091702876917281]
  人間は、非常に異常な単語に対して、同様の処理の利点を示す。 本稿では、人間の言語理解と言語モデルによる予測の両方を理解することの意味について論じる。
  論文  参考訳（メタデータ） (2022-11-09T21:08:08Z)
• Delayed-choice quantum erasers and the Einstein-Podolsky-Rosen paradox [0.0]
  アインシュタイン-ポドルスキー-ローゼン-ボーム実験における量子消去の効果について論じる。 量子消去器の実験は、エンタングルメント量子消去器とScully-Dr"uhl型量子消去器の2つの主要なカテゴリに分類される。 Scully-Dr"uhl型量子消去器(英語版)では、遅延選択測定の影響を受けられる一方の情報は、純粋に反実的推論の結果ではなく、いくつかの事実的重要性を持つという主張がある。
  論文  参考訳（メタデータ） (2022-10-20T16:15:16Z)
• Strong Converse Exponent for Entanglement-Assisted Communication [5.8303977553652]
  量子チャネルのエンタングルメント支援型古典的通信のための正確な強い逆指数を決定する。 量子情報の伝達は、絡み合いや量子フィードバックの助けを借りて容易に拡張できる。
  論文  参考訳（メタデータ） (2022-09-01T15:57:23Z)
• What killed the Convex Booster ? [70.04715330065275]
  LongとServedioの目覚ましい否定的な結果は、教師付き学習トリオの最悪の大失敗を生んだ。 否定的な結果の源泉は,ML の広範(あるいはそれ以外は注目に値する)な側面のダークサイドにある,と我々は主張する。
  論文  参考訳（メタデータ） (2022-05-19T15:42:20Z)
• The Interplay between Quantum Contextuality and Wigner Negativity [0.0]
  この論文は、量子文脈性とウィグナー負性という2つの非古典的行動に焦点を当てている。 量子文脈性(quantum contextuality)とは、非局所性に取って代わる概念であり、量子系によって表される。 ウィグナー負性(Wigner negativity)は、連続可変量子光学における位相空間の定式化に由来する量子状態の非古典的な特徴である。
  論文  参考訳（メタデータ） (2022-04-19T10:05:09Z)
• On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning [15.965337956587373]
  PlausIble Exceptionality-based Contrastive Explanations (PIECE) は、テストイメージにおけるすべての例外的特徴を、対実クラスの観点から正規化するように修正する。 2つの制御された実験は、PIECEを文献上の他のものと比較し、PIECEはいくつかの尺度において最も妥当な反事実を生成するだけでなく、最良の半事実も生成することを示した。
  論文  参考訳（メタデータ） (2020-09-10T14:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。