論文の概要: Same Judgment, Different Yes: Measuring Multilingual Judgment Profiles in Language Models

• arxiv url: http://arxiv.org/abs/2610.28066v1
• Date: Tue, 20 Oct 2026 11:50:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.793588
• Title: Same Judgment, Different Yes: Measuring Multilingual Judgment Profiles in Language Models
• Title（参考訳）: 同じ判断, 異なるイエス: 言語モデルにおける多言語的判断プロファイルの測定
• Abstract要約: 回答の引用と読解の異なる方法が、いつ同じ判断を回復するかを問う。 6つの言語で8つのモデルから1100万の応答を収集します。
• 参考スコア（独自算出の注目度）: 3.7804504142439987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual evaluations often score a model's opening yes or no, a token that also carries model and language answering conventions. We ask when different ways of eliciting and reading an answer recover the same judgment, and when they measure an answer habit. We collect 1.1 million replies from eight models in six languages on up to 105 moral vignettes, varying the question's form, the answer constraint, and the reading of the reply, token or sentence, in both wordings (the FAR-6 battery). Story-level judgment profiles converge across the tested readouts and question forms, except for the yes/no token after a negative interrogative read under a preset mapping: on the same replies, token and sentence profiles agree at a median r = 0.67 across cells, while sentence profiles agree with free-sentence profiles at 0.94, a known linguistic variability. With each language's story consensus removed, a model's profile is nearest to its own in another language for 39 of 48 model-language cells under proposition labels and 15 under free sentences, against 5 expected by chance. Particle, position, and named-term preferences follow their own patterns. A model can keep its judgment and change its yes: scoring that token requires establishing which proposition it affirms.
• Abstract（参考訳）: マルチランガル評価はモデルのオープニングであるyesかnoをスコアすることが多い。 回答の引用と読解の異なる方法が、同じ判断を回復するタイミングと、答えの習慣を測定するタイミングを問う。 我々は、6つの言語で最大105の道徳的なヴィグネットで8つのモデルから1100万の応答を収集し、質問の形式、答えの制約、両方の単語(FAR-6バッテリー)で返信、トークン、文を読み取る。 ストーリーレベルの判断プロファイルは、テスト済みの読み出しと質問フォームに収束する: 事前セットされたマッピングの下での否定的な質問読解の後に、ye/noトークンを除いて: 同じ返信、トークンおよび文プロファイルは、セル全体の中央値 r = 0.67 で一致し、文プロファイルは、既知の言語的変動である 0.94 で自由文プロファイルと一致している。 各言語のストーリーコンセンサスを取り除いたことにより、モデルプロファイルは、命題ラベルの下で48のモデル言語セルのうち39と、自由文で15と、偶然に予想される5に対して、他の言語で最も近いものとなる。 粒子、位置、名前付き長期的嗜好は独自のパターンに従う。 モデルは判断を保ち、そのイエスを変えることができる。トークンのスコア付けは、それが確認する命題を確立する必要がある。

関連論文リスト

• Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models [0.0]
  言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。 ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。 本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。 答えは2つの側面から閉じてピンサーを形成する。
  論文  参考訳（メタデータ） (2026-09-09T21:01:56Z)
• Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close [57.963463622270275]
  イスラム金融における規範的多元主義を4つの分類法を用いて研究する。 文化的キューは1つのフレームワークに向かってモデルを操縦するが、そのモデルはそのフレームワーク内で間違った答えを選択する。
  論文  参考訳（メタデータ） (2026-09-01T09:46:53Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Inconsistent Tokenizations Cause Language Models to be Perplexed by Japanese Grammar [27.3347020320559]
  日本語の「第一人精神述語制限」文法点に直面する言語モデルの難易度を測定した。 さらに, 代用文法モデルを用いて, 代用文法パターンを用いて代用文法文を生成する場合, トークン化問題により最も自然な文が出力されることを防止できることを示す。
  論文  参考訳（メタデータ） (2025-05-26T07:08:47Z)
• Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries [85.81295563405433]
  本稿では,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中にそれを提供するプロトコルを提案する。 その結果,1) 評価から得られた結論の変更,2) モデルペア間のベンチマークランキングの反転,2) スタイルのような表面レベルの基準に基づいて判断を下すナッジ評価,3) 多様なコンテキスト間でのモデル行動に関する新たな洞察の提供,などが確認できた。
  論文  参考訳（メタデータ） (2024-11-11T18:58:38Z)
• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
  事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。 モデルは英語から道徳的規範を捉え、他の言語に強制するか? 我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
  論文  参考訳（メタデータ） (2022-11-14T20:08:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。