論文の概要: A Probe Direction Is a Property of Its Prompt

• arxiv url: http://arxiv.org/abs/2608.13329v1
• Date: Thu, 13 Aug 2026 14:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.57174
• Title: A Probe Direction Is a Property of Its Prompt
• Title（参考訳）: プロブの方向はプロプトの性質
• Abstract要約: テストされていると感じたときに異なる振る舞いをするモデルは、私たちが依存している評価を損なうことになります。 標準楽器は、実行しないプロンプトに対する評価をアナウンスするプロンプトのアクティベーションとは対照的である。 評価をアナウンスするプロンプト」はプロンプトではなく、多くの人にとって選択肢である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A model that behaves differently when it senses it is being tested would undermine the evaluations we rely on, so recent work has sought to read that sense directly from a model's activations. The standard instrument contrasts activations on prompts that announce an evaluation against prompts that do not, and reports how well the resulting direction separates held-out cases. That number is then compared across models and correlated with scale. We observe that the instrument has a free parameter its readings do not disclose: "a prompt that announces an evaluation" is not a prompt but a choice among many, and nothing in the method fixes which. Holding the task text fixed and varying only that choice, we find that the reported score, and even the direction in which it trends with model size, follows the prompt rather than the model; two published studies that disagree about the sign of that trend are both reproducible from a single design, by choice of prompt alone. Treating the prompt as a facet of a measurement design rather than an implementation detail, we find the model under study accounts for a small share of the variance in the number reported about it, and most of the rest lies in how each model responds to each prompt: collecting more evaluation items cannot repair the measurement, while varying prompts can. A further check finds that the split these probes are scored on is largely separable from surface form alone, so a direction carrying no information about evaluation at all still reproduces a substantial fraction of each published score. We conclude that a single-prompt design cannot support comparison between models, and we give the number of prompts a defensible comparison requires.
• Abstract（参考訳）: テストされていると感じたときに異なる振る舞いをするモデルは、私たちが依存している評価を損なう可能性があるため、最近の研究は、モデルのアクティベーションから直接その意味を読み出そうとしている。 標準装置は、実行しないプロンプトに対する評価を告知するプロンプトのアクティベーションを対比し、結果として生じる方向がホールドアウトケースをどの程度分離するかを報告する。 その数はモデル間で比較され、スケールと相関する。 評価をアナウンスするプロンプト」はプロンプトではなく、多くの人に選択され、メソッドには何の修正もされない。 タスクテキストを固定してその選択だけに変化させることで、報告されたスコアと、それがモデルサイズに傾向を示す方向さえも、モデルよりもプロンプトに従っていることが分かる。 実装の詳細ではなく,プロンプトを計測設計のファセットとして扱うことで,各プロンプトに対して各モデルがどう対応するかという,各プロンプトのばらつきのごく一部を研究対象モデルが考慮し,そのほとんどは,様々なプロンプトが可能である一方で,より多くの評価項目の収集は測定を修復できないことにある。 さらなるチェックでは、これらのプローブの分割は表面形状だけでは分離できないことが分かり、評価に関する情報を全く持たない方向は、発行された各スコアのかなりの割合を再現する。 単一プロンプト設計ではモデル間の比較はサポートできないと結論し,定義可能な比較に必要なプロンプトの数を提示する。

関連論文リスト

• One Perturbation Is Not Enough: Identifiability and Blind Baselines for Behavioral AI Evaluation [0.6999740786886536]
  映像から物理量を報告する3つの視覚言語モデルに対して,3つの摂動の完全な識別を行う。 3つのスコアは、それぞれがラウンドキャリブレーション値の小さなセットの1つにデフォルトがあるため、その上ではなく、自分のブラインドバウンドよりもはるかに低い。
  論文  参考訳（メタデータ） (2026-09-05T17:18:23Z)
• Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe [2.6646205080230536]
  シリコンサンプリングは、人間の調査回答者のプロキシとして言語モデルを使用する。 命令チューニングされたモデルは分布からサンプリングされず、単一の出力に崩壊する。 本稿では,Prompt-Perturbed Argyleを提案する。
  論文  参考訳（メタデータ） (2026-07-28T04:58:46Z)
• Attention Limited Reward Learning [1.4554818659491644]
  限定的な注意が対比較を根本的に歪めることを示す。 分析の結果,学習はラベルの原数ではなく,各ラベルが持つ情報量によって管理されていることがわかった。 この視点は、人間のフィードバックは直接的に明らかな嗜好ではなく、注意に制限された測定プロセスとして扱うべきであることを示唆している。
  論文  参考訳（メタデータ） (2026-07-06T01:33:12Z)
• One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation [0.7820105843726323]
  6つの埋め込みモデル、11のデータセット、および15のタスク固有のプロンプトにまたがる、迅速な感度に関する実証的研究を示す。 報告されたスコアは、可算なプロンプト上のスコアの分布を誤って表現していることを示す。 本研究の結果から, 単発型埋め込みモデルでは単発型評価が不十分であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-21T14:27:46Z)
• Measuring Language Model Hallucinations Through Distributional Correctness [7.106986689736826]
  この問題を解決するために,新しい評価基準である分布補正スコア(DCS)を導入した。 DCSは、誤った回答における有害な過信と、棄権によって表される不確実性を区別し、解釈可能なデフォルト範囲でスコアを提供する。 DCSは、推測よりも真に不確実性を表現するモデルにインセンティブを与える、よりニュアンスで整列した評価パラダイムを提供する。
  論文  参考訳（メタデータ） (2025-10-05T17:50:42Z)
• Variations in Relevance Judgments and the Shelf Life of Test Collections [50.060833338921945]
  ニューラル検索設定における先行研究を再現し、評価者の不一致がシステムランキングに影響を及ぼさないことを示す。 我々は、新しい関係判断によって、いくつかのモデルが著しく劣化し、既にランク付け者としての人間の有効性に到達していることを観察した。
  論文  参考訳（メタデータ） (2025-02-28T10:46:56Z)
• How Many Ratings per Item are Necessary for Reliable Significance Testing? [7.422152765037947]
  機械学習評価の基盤は、モデルと人間の反応が一元的、権威的、金標準のデータに対するモデルを評価するのに十分な信頼性を持つという仮定である。 我々は、(既存のまたは計画された)データセットが、信頼できるヌル仮説の統計的テストを保証するのに十分な応答を持っているかどうかを判断するために、メソッドを適用する。 我々の手法は、AI研究者がAI評価のためのデータ収集方法に関するより良い決定を下すのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-12-04T02:31:28Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。