論文の概要: Shared relations, specific choices: conditional sensitivity and competing pathways in language models
- arxiv url: http://arxiv.org/abs/2611.01809v1
- Date: Sun, 01 Nov 2026 11:25:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.49964
- Title: Shared relations, specific choices: conditional sensitivity and competing pathways in language models
- Title(参考訳): 言語モデルにおける共有関係、特定の選択:条件感度と競合経路
- Abstract要約: GPT-2 Small、Qwen2.5-1.5B、Llama-3.2-1Bによる制御された実体結合実験は、クエリーロール間で主に共有され、新しい名前に転送される低次元のリレーショナル背景を明らかにする。
- 参考スコア(独自算出の注目度): 0.33842793760651557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How does a relational representation shared across queries drive a query-specific choice? Controlled entity-binding experiments with GPT-2 Small, Qwen2.5-1.5B and Llama-3.2-1B reveal a low-dimensional relational background that is predominantly shared across query roles and transfers to new names. Same-domain interactions persist when another attribute domain is queried. After removing this component, restoring independently trained relation directions brings output contrasts closer to their original values than sign-reversed or equal-norm random controls in all three models. Yet a transferable relational representation need not have a transferable functional sign. In Qwen2.5, fixing model weights, the training-mean relation vector and edit dose yields opposite selection effects across binary and lexical-mapping prompts with different answer vocabularies. A factorial contrast of downstream sensitivities across attribute-query combinations determines the shared direction's local signed selection gain. In a separate eight-condition protocol, mean local gain is positive in Qwen2.5 and negative in Llama3.2. Late-component clamps resolve opposing pathway contributions: in Llama3.2, negative transmission through selected attention-only paths is partially offset by positive transmission through paths traversing both selected attention and MLP sets. Source-coordinate analyses establish distributed factor coverage, hidden-receiver readouts reveal layout-dependent combination, and instance-geometry interventions separate response direction from amplitude. These findings show how conditional sensitivity and competing pathways give shared relational structure its effect on specific choices.
- Abstract(参考訳): クエリ間で共有されるリレーショナル表現は、クエリ固有の選択を駆動するのでしょうか?
GPT-2 Small、Qwen2.5-1.5B、Llama-3.2-1Bによる制御された実体結合実験は、クエリーロール間で主に共有され、新しい名前に転送される低次元のリレーショナル背景を明らかにする。
他の属性ドメインがクエリされると、同じドメイン間相互作用が持続する。
この成分を除去した後、独立に訓練された関係方向を復元すると、出力のコントラストは3つのモデルすべてにおいて符号反転または等ノルムランダム制御よりも元の値に近いものとなる。
しかし、転送可能リレーショナル表現は、転送可能関数記号を持つ必要はない。
Qwen2.5では、モデルの重みを固定し、トレーニング平均関係ベクトルと編集線量によって、異なる応答語彙を持つ二分数および語彙-マッピングプロンプト間の反対の選択効果が得られる。
属性-クエリの組み合わせ間の下流感度の因子的コントラストは、共有方向の局所的な符号付き選択ゲインを決定する。
異なる8条件のプロトコルでは、平均局所ゲインはQwen2.5では正で、Llama3.2では負である。
Llama3.2では、選択された注目のみの経路を経由する負の伝達は、選択された注目とMLPセットの両方を横断する経路を経由する正の伝達によって部分的にオフセットされる。
ソースコーディネート解析は、分散係数のカバレッジを確立し、シークレット・レシーバー・リードアウトはレイアウトに依存した組み合わせを示し、インスタンス・ジオメトリは振幅から応答方向を分離する。
これらの知見は, 条件感受性と競合経路が共役関係構造が特定の選択にどのように影響するかを示す。
関連論文リスト
- Many Perturbations, Shared Failure Dynamics: Tracing Direction-Sensitive Perturbation Influence in Language Models [11.514477267634225]
不均一な言語変更は、入力非依存の障害方向を共有することなく、幾何学的および読み出し的関係を共有することができる。
コンパクトリザーブ・アンド・トランスミッションモデルは、Qwen3-32BとGemma 4 31Bの保留家族とアイテム間の障害を予測する。
その結果、自然障害の完全な説明と局所因果感受性を区別しながら、予備、変換、応答間の共通関係を支持する。
論文 参考訳(メタデータ) (2026-10-23T08:09:28Z) - The Attribution Blind Spot: Layerwise Trajectory Diagnostics for Source Reliance in Retrieval-Augmented Language Models [22.202409807556517]
制御された知識の衝突は、ソースの選択をオブザーバブルにする。
どの内部状態プロパティが有用な介入方向を定義するか?
トレーニング適合の第1主成分(PC1)へのサイン付きプロジェクションであるLatent Trajectory Shift(LTS)による隠れ状態のペア化について検討し,行動源選択とは別個のトレーニング露出を維持する。
論文 参考訳(メタデータ) (2026-10-07T05:47:31Z) - Token Utility Is Selection-Conditioned: Coupled Selection of Prompt Context and Response Supervision for Efficient Instruction Tuning [11.796634827510323]
BRIDGEは、共有バリデーション指向のインタラクションサロゲートを通じて選択条件付きトークンユーティリティをキャプチャする。
構造認識プロジェクションは条件応答スコアをコヒーレントな監視スパンに変換する。
BRIDGEは、数学的推論、コード生成、命令フォローにおける全体的な選択方法の比較を導く。
論文 参考訳(メタデータ) (2026-09-19T10:46:58Z) - SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳(メタデータ) (2026-09-08T15:11:32Z) - StateSwap: Probing Support-Elimination Hidden States in Multiple-Choice Questions [22.173138594307662]
2つのフレーミングによって引き起こされる異なる内部表現から相違が生じているかどうかを検討する。
最小限に異なるプロンプトを持つデュアルフレーミングプロトコルを導入する。
2つのフレーミングは中間層に集中して分離可能な[STATE]活性化を誘導する。
論文 参考訳(メタデータ) (2026-09-01T11:13:26Z) - Topology-Aware Query Selection for Surgical Instrument Instance Segmentation [8.051653068935332]
最終クエリ選択は、独立した候補決定の集合ではなく、リレーショナルで可変性の問題である。
我々は、固定されたMask2Formerの空でない候補を完全なグラフとして表現したトポロジ対応クエリ選択を評価する。
評価された完全パスは、特定ネイティブインスタンス契約における固定されたMask2Former候補からの一貫性のあるインスタンスセット構築を改善したことを示す。
論文 参考訳(メタデータ) (2026-08-12T03:29:47Z) - SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。
正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。
変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文 参考訳(メタデータ) (2026-08-04T13:16:15Z) - Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。
信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。
本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
論文 参考訳(メタデータ) (2026-06-23T05:28:47Z) - SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。
SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
論文 参考訳(メタデータ) (2026-05-15T07:26:54Z) - Adaptive feature recombination and recalibration for semantic
segmentation with Fully Convolutional Networks [57.64866581615309]
完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。
その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
論文 参考訳(メタデータ) (2020-06-19T15:45:03Z) - Harmonizing Transferability and Discriminability for Adapting Object
Detectors [48.78231850215302]
本稿では,特徴表現の伝達可能性を校正し,識別性を調和させる階層的伝達可能性ネットワーク(HTCN)を提案する。
実験の結果、HTCNはベンチマークデータセットで最先端の手法を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2020-03-13T13:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。