論文の概要: A Philosophical Introduction to Language Models - Part II: The Way Forward

• arxiv url: http://arxiv.org/abs/2405.03207v1
• Date: Mon, 6 May 2024 07:12:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 14:35:25.575000
• Title: A Philosophical Introduction to Language Models - Part II: The Way Forward
• Title（参考訳）: 言語モデルへの哲学的導入 -その2:その方向-
• Authors: Raphaël Millière, Cameron Buckner,
• Abstract要約: 大規模言語モデル(LLM)の最近の進歩によって提起された新しい哲学的問題について考察する。 我々は特に,LLMの内部表現と計算の性質に関する因果介入手法の証拠を検証し,解釈可能性に関する問題に焦点をあてる。 建築的特徴や学習シナリオが適切に制約されている場合、LLMのようなシステムが人間の認知のモデル化に関係があるかどうかを論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, the second of two companion pieces, we explore novel philosophical questions raised by recent progress in large language models (LLMs) that go beyond the classical debates covered in the first part. We focus particularly on issues related to interpretability, examining evidence from causal intervention methods about the nature of LLMs' internal representations and computations. We also discuss the implications of multimodal and modular extensions of LLMs, recent debates about whether such systems may meet minimal criteria for consciousness, and concerns about secrecy and reproducibility in LLM research. Finally, we discuss whether LLM-like systems may be relevant to modeling aspects of human cognition, if their architectural characteristics and learning scenario are adequately constrained.
• Abstract（参考訳）: 本稿では,2つのコンパニオンピースの2番目として,大言語モデル(LLM)の最近の進歩によって提起された新しい哲学的問題について考察する。 我々は特に,LLMの内部表現と計算の性質に関する因果介入手法の証拠を検証し,解釈可能性に関する問題に焦点をあてる。 また,LLMのマルチモーダル拡張やモジュール拡張がもたらす意味や,そのようなシステムが意識の最小限の基準を満たすかどうか,LLM研究における機密性や再現性に関する懸念についても論じる。 最後に、LLMのようなシステムが人間の認知のモデル化に関係しているかどうか、アーキテクチャ特性や学習シナリオが適切に制約されているかどうかを論じる。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Decoding Large-Language Models: A Systematic Overview of Socio-Technical Impacts, Constraints, and Emerging Questions [1.1970409518725493]
  この記事では、倫理的考察とともに、社会に肯定的な影響を与える可能性のある適用領域を強調します。 これには、開発に関する責任ある考慮、アルゴリズムの改善、倫理的課題、社会的影響が含まれる。
  論文  参考訳（メタデータ） (2024-09-25T14:36:30Z)
• Attention Heads of Large Language Models: A Survey [10.136767972375639]
  本研究では,Large Language Models (LLMs) の内部理化プロセスについて,その基盤となるアテンションヘッドのメカニズムに焦点を絞って光を当てることを目的としている。 まず、人間の思考過程を4段階の枠組みに蒸留する。 この枠組みを用いて,既存の研究を体系的に検証し,特定の注目者の機能を特定し,分類する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:12Z)
• Does Reasoning Emerge? Examining the Probabilities of Causation in Large Language Models [6.922021128239465]
  AIの最近の進歩は、大規模言語モデル(LLM)の能力によって推進されている。 本稿では,LLMが実世界の推論機構をいかに効果的に再現できるかを評価することを目的とした,理論的かつ実用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-15T15:19:11Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
  広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。 本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
  論文  参考訳（メタデータ） (2024-03-24T17:39:51Z)
• Bridging Causal Discovery and Large Language Models: A Comprehensive Survey of Integrative Approaches and Future Directions [10.226735765284852]
  因果発見(CD)とLarge Language Models(LLM)は、人工知能に重要な意味を持つ2つの新しい研究分野を表す。 本稿では,CDタスクへのLPM(GPT4など)の統合に関する総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-02-16T20:48:53Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• A Survey on Multimodal Large Language Models [71.63375558033364]
  GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。 本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
  論文  参考訳（メタデータ） (2023-06-23T15:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。