論文の概要: Discursive Circuits: How Do Language Models Understand Discourse Relations?

• arxiv url: http://arxiv.org/abs/2510.11210v1
• Date: Mon, 13 Oct 2025 09:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.303815
• Title: Discursive Circuits: How Do Language Models Understand Discourse Relations?
• Title（参考訳）: ディサーシブ・サーキット:言語モデルはどのように談話関係を理解するか?
• Authors: Yisong Miao, Min-Yen Kan,
• Abstract要約: スパース回路は RST や SDRT などの未知の談話フレームワークによく応用できることを示す。 下位層は語彙意味論やコア推論のような言語的特徴を捉え、上位層は談話レベルの抽象化をエンコードする。
• 参考スコア（独自算出の注目度）: 24.164334889262175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Which components in transformer language models are responsible for discourse understanding? We hypothesize that sparse computational graphs, termed as discursive circuits, control how models process discourse relations. Unlike simpler tasks, discourse relations involve longer spans and complex reasoning. To make circuit discovery feasible, we introduce a task called Completion under Discourse Relation (CuDR), where a model completes a discourse given a specified relation. To support this task, we construct a corpus of minimal contrastive pairs tailored for activation patching in circuit discovery. Experiments show that sparse circuits ($\approx 0.2\%$ of a full GPT-2 model) recover discourse understanding in the English PDTB-based CuDR task. These circuits generalize well to unseen discourse frameworks such as RST and SDRT. Further analysis shows lower layers capture linguistic features such as lexical semantics and coreference, while upper layers encode discourse-level abstractions. Feature utility is consistent across frameworks (e.g., coreference supports Expansion-like relations).
• Abstract（参考訳）: トランスフォーマー言語モデルのどのコンポーネントが談話理解に責任があるのか? 我々は、分散回路と呼ばれるスパース計算グラフが、モデルがどのように談話関係を処理するかを制御することを仮定する。 単純なタスクとは異なり、談話関係は長いスパンと複雑な推論を含む。 回路探索を実現するために、モデルが所定の関係を与えられた言論を完了させるCuDR(Completion Under Discourse Relation)というタスクを導入する。 このタスクを支援するために,回路発見におけるアクティベーションパッチングに適した最小のコントラスト対のコーパスを構築した。 実験の結果,英語のPDTBベースのCuDRタスクにおいて,スパース回路(全GPT-2モデルの0.2 %$)が談話理解を回復することがわかった。 これらの回路は、RTTやSDRTのような目に見えない談話フレームワークによく一般化される。 さらに分析したところ、下位層は語彙意味論やコア推論のような言語的特徴を捉え、上位層は談話レベルの抽象化をエンコードしている。 機能ユーティリティはフレームワーク間で一貫性がある(例えば、コア参照は拡張のような関係をサポートする)。

関連論文リスト

• Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering [51.7493726399073]
  本稿では,長文質問応答を改善するための対話型階層型フレームワークを提案する。 このフレームワークには3つの重要な革新がある: 長文の専門的な談話解析、LLMに基づく談話関係ノードの拡張、構造誘導階層検索である。
  論文  参考訳（メタデータ） (2025-05-26T14:45:12Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Transformer-Based Models Are Not Yet Perfect At Learning to Emulate Structural Recursion [14.739369424331478]
  本稿では,プログラミング言語領域における構造的再帰という抽象概念を,シーケンスモデリング問題や学習モデルの振る舞いにうまく結合する汎用フレームワークを提案する。 フレームワークを強力な概念ツールとして、さまざまな設定の下で異なる問題を特定します。
  論文  参考訳（メタデータ） (2024-01-23T18:07:38Z)
• Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models [9.56229382432426]
  本研究の目的は、トランスフォーマーモデルをアルゴリズム機能を実装する人間可読表現にリバースエンジニアリングすることである。 GPT-2 SmallとLlama-2-7Bの両方のキーサブ回路を回路解釈可能性解析により同定する。 このサブ回路は、インターバル回路、スペイン語の数字と月数継続、自然言語の単語問題など、様々な数学的なプロンプトに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-11-07T16:58:51Z)
• Solving Hard Analogy Questions with Relation Embedding Chains [21.31821067426995]
  概念がどのように関連しているかをモデル化することは、語彙意味論において中心的なトピックである。 KG は固定された関係型の集合に限られており、それらは不完全であり、しばしばうるさい。 微調整言語モデルから関係埋め込みを蒸留する。 提案した表現は,難解な類似問題を解くのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-10-18T23:13:22Z)
• DiscoPrompt: Path Prediction Prompt Tuning for Implicit Discourse Relation Recognition [27.977742959064916]
  本稿では,IDRRにおける階層間の対話的情報と本質的な感覚を利用するために,プロンプトに基づく経路予測手法を提案する。 これは、プロンプトチューニングを通じて事前訓練された言語モデルにそのような構造情報を注入する最初の作品である。
  論文  参考訳（メタデータ） (2023-05-06T08:16:07Z)
• RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction [65.4337085607711]
  ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。 入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。 本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
  論文  参考訳（メタデータ） (2022-03-17T05:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。