論文の概要: A Bounded Evaluation Protocol for Representational Systematicity
- arxiv url: http://arxiv.org/abs/2611.01755v1
- Date: Sun, 01 Nov 2026 10:01:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.497456
- Title: A Bounded Evaluation Protocol for Representational Systematicity
- Title(参考訳): 表現体系性のための境界評価プロトコル
- Abstract要約: 表現体系性のための有界評価プロトコル(Bounded-RS)を提案する。
96個の整合集合のセマンティックパーシングテストベッドでは、微調整されたT5モデルのロールフィラーバインディングの説明は因果利用である。
完全判決は、34件の非因果例のうち1件において偽の因果使用を許可する。
- 参考スコア(独自算出の注目度): 3.0920488587600157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiple studies have shown that neural networks can be behaviorally systematic, producing correct outputs for novel combinations of familiar parts. Whether they are also representationally systematic, that is, whether they represent these parts and their roles and use them to produce the outputs, remains hard to test, because each kind of evidence can mislead on its own: correct outputs can come from shortcuts, a decodable signal need not be used, an intervention can act through unintended pathways, and a failed search does not show absence. We propose a bounded evaluation protocol for representational systematicity (Bounded-RS): for an explanation that attributes a systematic behavior to a declared representation, it tests on a matched behavioral contrast whether that representation is recoverable and whether it is causally used, checks the validity of this evidence, and assigns the explanation one of four bounded states, Unsupported, Present-only, Causal-use, or Undetermined, through control-calibrated scores, gates, and stop rules. On a semantic-parsing testbed of 96 matched sets that we release, the tested role-filler Binding explanation of fine-tuned T5 models is Causal-use and the distributed Geometry explanation is Unsupported within its declared search space, verdicts that hold across calibration-compatible parameter configurations, training seeds, and T5-base. On 41 cases with known causal status, full adjudication licenses a false Causal-use in 1 of 34 noncausal cases, against 13 when recoverability is taken as use, without missing any causal case. Bounded-RS thus turns the question of representational systematicity, debated since Fodor and Pylyshyn, into comparable and falsifiable verdicts on declared explanations, each reported with the evidence pattern that licenses it and, for a negative, the search space that bounds it.
- Abstract(参考訳): 複数の研究により、ニューラルネットワークは行動体系的であり、慣れ親しんだ新しい組み合わせのための正しい出力を生成することが示されている。
正しい出力はショートカットから来ることができ、デオード可能な信号を使う必要がなく、介入は意図しない経路を通して作用し、検索が失敗した場合、不在は現れない。
宣言された表現に体系的な振る舞いを属性付けする有界評価プロトコル(Bounded-RS)を提案し、その表現が回復可能かどうかと因果的使用かどうかを比較し、この証拠の妥当性を確認し、制御校正されたスコア、ゲート、ストップルールを通じて、4つの有界状態のうちの1つを割り当てる。
96個のマッチした集合のセマンティックパーシングテストベッド上で、テストされたロールフィラーによるT5モデルのバインディング説明はCausal-useであり、分散幾何説明は宣言された検索空間内でサポートされない。
因果関係が知られている41の症例では、34件の非因果関係の症例のうち1件に偽の因果使用を許可する。
境界付きRSは、フォーダーとピリシン以来議論されてきた表現体系性の問題を、宣言された説明に関する同等かつ偽りの評定に転換し、それぞれがそれをライセンスするエビデンスパターンと、それを束縛する負の検索空間を報告した。
関連論文リスト
- Chain-of-Thought Oversight Requires Separate Evidence for Faithfulness and Monitorability [47.59866831149984]
チェーンオブ思考の監視における一般的な仮定は、可視的推論トレースはモデルの振る舞いを監視しやすくする、というものである。
この仮定は、モデルの内部計算をリンクし、アーティファクトを推論し、アウトプットを出力し、判断をモニターする連鎖に沿って、異なる性質を説明できると主張している。
この連鎖に沿った4つの特性は、推論可視性、機械的忠実性、機械的ローカライズビリティ、行動監視性である。
論文 参考訳(メタデータ) (2026-11-01T06:16:34Z) - Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。
オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。
我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
論文 参考訳(メタデータ) (2026-09-24T19:04:23Z) - When Decodability Is Not Enough: Logical Validity Representations, Behavioral Dissociation, and Causal Tests in Language Models [2.5819252531158683]
5つのオープンウェイト変圧器モデルにおける論理的検証について検討する。
ほぼ簡潔な行動性能にもかかわらず、論理的妥当性は隠れた状態からほぼ完全に排除可能である。
以上の結果から, 妥当性を示唆し, 行動で表現し, 因果的に使用することは異なることが示唆された。
論文 参考訳(メタデータ) (2026-09-02T11:01:09Z) - When benchmark inferences do not compose: Projectibility in AI evaluation [0.0]
AIベンチマークの結果が1ステップで連続的なクレームに達することはめったにない。
評価者はそれをさらなるケースに一般化し、能力の証拠として解釈し、新しいタスクに外挿し、他のシステムやサイトへ輸送する。
保証リンクは保証チェーンを自動的に作らない。
論文 参考訳(メタデータ) (2026-07-28T18:07:04Z) - Validating Causal Abstraction Metrics on Simulated Complex Systems [24.593253817483458]
離散状態空間と連続状態空間の両方にまたがる10の複雑なシステムのベンチマークを導入する。
観察,機能,情報理論,因果関係から抽出された30以上の指標について検討した。
本研究は, 因果的抽象誤差(Causal Abstraction Error, CAE)を, 明示的忠実度テストによる連続的妥当性尺度として導入した。
論文 参考訳(メタデータ) (2026-06-30T23:30:29Z) - Structured Abductive-Deductive-Inductive Reasoning for LLMs via Algebraic Invariants [0.0]
大規模言語モデルは、構造化論理的推論において体系的な制限を示す。
LLM支援推論のための明示的なプロトコルとして、パースの三部構造推論を運用するシンボリックな足場を提案する。
論文 参考訳(メタデータ) (2026-04-17T05:59:16Z) - CausalT5K: Diagnosing and Informing Refusal for Trustworthy Causal Reasoning of Skepticism, Sycophancy, Detection-Correction, and Rung Collapse [1.4608214000864057]
CausalT5Kは10ドメインにわたる5000以上のケースの診断ベンチマークである。
合成ベンチマークとは異なり、CausalT5Kはリアルな物語に因果トラップを埋め込んでいる。
予備的な実験では、静的監査ポリシーが普遍的に失敗する4段階のコントロールランドスケープが示される。
論文 参考訳(メタデータ) (2026-02-09T17:36:56Z) - Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳(メタデータ) (2024-03-23T04:13:55Z) - Nonparametric Identifiability of Causal Representations from Unknown
Interventions [63.1354734978244]
本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。
我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
論文 参考訳(メタデータ) (2023-06-01T10:51:58Z) - Nested Counterfactual Identification from Arbitrary Surrogate
Experiments [95.48089725859298]
観測と実験の任意の組み合わせからネスト反事実の同定について検討した。
具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
論文 参考訳(メタデータ) (2021-07-07T12:51:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。