論文の概要: Mechanistic?

• arxiv url: http://arxiv.org/abs/2410.09087v1
• Date: Mon, 7 Oct 2024 15:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:48:15.030587
• Title: Mechanistic?
• Title（参考訳）: メカニスティック?
• Authors: Naomi Saphra, Sarah Wiegreffe,
• Abstract要約: 解釈可能性研究におけるこの用語の4つの用途について述べる。 また、文化運動を表す狭義の文化的な定義も持つ。 メカニスティック」の多義性は、解釈可能性コミュニティにおける重要な分断の産物であると主張する。
• 参考スコア（独自算出の注目度）: 8.6198753672416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of the term "mechanistic interpretability" has accompanied increasing interest in understanding neural models -- particularly language models. However, this jargon has also led to a fair amount of confusion. So, what does it mean to be "mechanistic"? We describe four uses of the term in interpretability research. The most narrow technical definition requires a claim of causality, while a broader technical definition allows for any exploration of a model's internals. However, the term also has a narrow cultural definition describing a cultural movement. To understand this semantic drift, we present a history of the NLP interpretability community and the formation of the separate, parallel "mechanistic" interpretability community. Finally, we discuss the broad cultural definition -- encompassing the entire field of interpretability -- and why the traditional NLP interpretability community has come to embrace it. We argue that the polysemy of "mechanistic" is the product of a critical divide within the interpretability community.
• Abstract（参考訳）: 機械的解釈可能性(mechanistic interpretability)という用語の台頭は、ニューラルモデル(特に言語モデル)の理解への関心の高まりにつながっている。しかし、この用語は「機械的(mechanistic)」という用語の4つの使い方を記述している。最も狭い技術的定義は因果性(corsality)の主張である一方、より広い技術的定義は、モデルの内部の探索を可能にする。しかし、この用語には、文化的な動きを記述した狭い文化的定義がある。この意味的な漂流を理解するために、NLP解釈性コミュニティの歴史と、別個の「機械的」解釈性コミュニティの形成を提示する。最後に、NLP解釈性(mechanistic)の分野全体を含む広範な文化的定義について論じる。 メカニスティック」の多義性は、解釈可能性コミュニティにおける重要な分断の産物であると主張する。

関連論文リスト

• Forms of Understanding of XAI-Explanations [2.887772793510463]
  本稿では、説明可能な人工知能(XAI)の文脈における理解形態のモデル提示を目的とする。 2種類の理解は説明の可能な結果、すなわち有効性と理解の可能な結果と見なされる。 XAIにおける理解の特別な課題について論じる。
  論文  参考訳（メタデータ） (2023-11-15T08:06:51Z)
• Taxonomy for Physics Beyond Quantum Mechanics [0.0]
  本稿では、量子力学の解釈と、量子力学を修正または完全化するモデルを分類する用語を提案する。 この文書は、2022年のBonn Workshop on Superdeterminism and Retrocausalityでの議論から生まれた。
  論文  参考訳（メタデータ） (2023-09-21T17:54:31Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• On the Computation of Meaning, Language Models and Incomprehensible Horrors [0.0]
  我々は、意味の基本理論を、人工知能(AGI)の数学的形式主義と統合する。 我々の発見は、意味と知性の関係と、意味を理解して意図する機械を構築する方法に光を当てた。
  論文  参考訳（メタデータ） (2023-04-25T09:41:00Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Theoretical foundations and limits of word embeddings: what types of meaning can they capture? [0.0]
  意味を測定することは文化社会学の中心的な問題である。 私は、単語埋め込みが意味の構造的言語理論の3つの中核的な前提をモデル化する方法を理論化します。
  論文  参考訳（メタデータ） (2021-07-22T00:40:33Z)
• Grounding 'Grounding' in NLP [59.28887479119075]
  コミュニティとして、この用語は、テキストをデータや非テキストのモダリティにリンクするために広く使われます。 認知科学(Cognitive Science)は、コミュニケーションの成功に必要な相互情報を確立するプロセスとして「接地」を正式に定義している。
  論文  参考訳（メタデータ） (2021-06-04T00:40:59Z)
• Lexical semantic change for Ancient Greek and Latin [61.69697586178796]
  歴史的文脈における単語の正しい意味の連想は、ダイアクロニック研究の中心的な課題である。 我々は、動的ベイズ混合モデルに基づくセマンティック変化に対する最近の計算的アプローチに基づいて構築する。 本研究では,動的ベイズ混合モデルと最先端埋め込みモデルとのセマンティックな変化を系統的に比較する。
  論文  参考訳（メタデータ） (2021-01-22T12:04:08Z)
• Towards Abstract Relational Learning in Human Robot Interaction [73.67226556788498]
  人間は環境における実体を豊かに表現する。 ロボットが人間とうまく対話する必要がある場合、同様の方法で実体、属性、一般化を表現する必要がある。 本研究では,人間とロボットの相互作用を通じて,これらの表現をどのように獲得するかという課題に対処する。
  論文  参考訳（メタデータ） (2020-11-20T12:06:46Z)
• Machine Semiotics [0.0]
  音声補助装置では、人間の発話の機械固有の意味の学習が十分であると考えられる。 認知的加熱装置の極めて自明な例を用いて、この過程を発話意味ペア(UMP)の強化学習として定式化することができることを示す。
  論文  参考訳（メタデータ） (2020-08-24T15:49:54Z)
• Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods [51.34667808471513]
  分散意味論のパラダイムで定式化されたセマンティック隣人のセマンティック・スパシティと周波数成長率という2つの要因の重要性について検討する。 いずれの因子も単語の出現を予測できるが,後者の仮説はより支持される。
  論文  参考訳（メタデータ） (2020-01-21T19:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。