論文の概要: For What Reason? Interpreting Models' Encoding of Causation and Antithesis
- arxiv url: http://arxiv.org/abs/2607.18570v1
- Date: Mon, 20 Jul 2026 23:05:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.26982
- Title: For What Reason? Interpreting Models' Encoding of Causation and Antithesis
- Title（参考訳）: 因果関係について : モデルによる因果関係の符号化とアンチテーゼの解釈
- Abstract要約: 本研究では、英語の会話関係を符号化する命令調整型トランスフォーマーモデルについて検討する。
いくつかの層は選択肢よりも一つの答えを優先しており、談話に基づく推論の非対称な表現を示唆している。
- 参考スコア（独自算出の注目度）: 3.601353974864421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discourse relations provide document structure, critical to language understanding and enabling language model performance and ethicality. In this work, we investigate how instruction-tuned Transformer models (LLaMA and Mistral) encode discourse relations in English, with a particular focus on the contrasting relations of causation and antithesis. Framing the task as a next-token prediction task and applying a suite of interpretability techniques to test model internals, our findings show that certain early layers make predictive decisions at mid-sequence tokens, while some mid-level layers finalize their decisions closer to the last token. Most of the remaining layers primarily propagate earlier decisions rather than actively influencing them. Additionally, we observe that some layers exhibit a preference for one answer over alternatives, suggesting asymmetric representation of discourse-based reasoning.\footnote{Our code is available at https://github.com/abhidipbhattacharyya/causation_vs_antithesis}
- Abstract（参考訳）: 談話関係は、言語理解に不可欠な文書構造を提供し、言語モデルの性能と倫理性を可能にする。
本研究は,英語の言説関係を符号化する命令調整型トランスフォーマーモデル (LLaMA と Mistral ) について検討し,特に因果関係と反テーゼの関係の対比に着目した。
本研究は,タスクを次段階の予測タスクとして分割し,モデル内部のテストに解釈可能性の一連のテクニックを適用した上で,初期層が最終トークンに近い決定を下す一方で,中間層が最終トークンに近い決定を下すことを示す。
残りのレイヤのほとんどは、積極的に影響するのではなく、主に以前の決定を伝達します。
さらに、いくつかの層は代替よりも1つの答えの方が好ましいことを示し、談話に基づく推論の非対称表現を示唆している。
\footnote{Our code is available at https://github.com/abhidipbhattacharyya/causation_vs_antithesis}
関連論文リスト
- Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。
CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。
生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
論文 参考訳（メタデータ） (2025-12-24T05:25:17Z) - Latent Reasoning via Sentence Embedding Prediction [41.06552269338159]
本稿では,次の文の連続的な埋め込みを自動回帰予測することにより,事前訓練されたトークンレベルのLMを文空間内での操作に適応させるフレームワークを提案する。
以上の結果から,事前学習したLMは,遅延埋め込み空間内での抽象的構造的推論に効果的に移行できることが示唆された。
論文 参考訳（メタデータ） (2025-05-28T10:28:35Z) - Unraveling Token Prediction Refinement and Identifying Essential Layers in Language Models [0.0]
本研究の目的は,大規模言語モデル (LLM) が内部処理によるトークン予測を反復的に洗練することである。
我々は,LLMが入力コンテキストから情報にアクセスし活用する方法,および関連する情報の位置がモデルのトークン予測改善プロセスにどのように影響するかに着目した。
論文 参考訳（メタデータ） (2025-01-25T03:34:15Z) - Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。
このアプローチは英語以外のタスクではうまくいきません。
モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-15T15:14:01Z) - Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。
ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。
その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
論文 参考訳（メタデータ） (2023-06-01T17:44:35Z) - Masked Part-Of-Speech Model: Does Modeling Long Context Help
Unsupervised POS-tagging? [94.68962249604749]
フレキシブルな依存性モデリングを容易にするために,MPoSM(Masked Part-of-Speech Model)を提案する。
MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行うことができる。
英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。
論文 参考訳（メタデータ） (2022-06-30T01:43:05Z) - Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。
本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
論文 参考訳（メタデータ） (2020-04-06T21:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。