論文の概要: Validity of LLMs as data annotators: AMALIA on authority

• arxiv url: http://arxiv.org/abs/2607.08731v1
• Date: Thu, 09 Jul 2026 17:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.611705
• Title: Validity of LLMs as data annotators: AMALIA on authority
• Title（参考訳）: データアノテータとしてのLLMの妥当性:権威に関するAMALIA
• Abstract要約: 校正された英語の楽器がAMALIA-9Bとヨーロッパのポルトガル語に転送されるかどうかを問う。 AMALIAはいまだに大規模にスクリーンとプリコードを行うことができるが、この構造を単独で行うのに十分な程度に測定することはできない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A national language model offers a linguistic community its own instrument for measuring what its citizens say and value. Portugal's AMALIA, a publicly funded 9B-parameter model for European Portuguese, appears competitive on agreement alone: asked to code the moral foundation of authority, it agrees with trained human coders to within six F1 points of open models eight to thirteen times its size. Yet agreement is reliability, not validity. For theoretical constructs that must be inferred rather than read from surface features, the question is whether the model follows the construct's theory or reaches the right code by correlated shortcuts. We test this with the recovery gap: the loss in performance when a holistic prompt is decomposed into the codebook's atomic clauses and recombined by the theory's explicit rule. If calibration closes that gap, some portability should survive across models and languages; where it does not, the construct-model instrument is the likely locus of failure. We ask whether a calibrated English instrument transfers to AMALIA-9B and to European Portuguese. For one construct and one corpus, it does not. Decomposition recovers only about half of AMALIA's holistic performance, and error analysis suggests reliance on surface correlates, especially moral outrage near authority figures. An open multilingual LLM closes the gap on the same Portuguese corpus under the same instructions, pointing away from the corpus as the main explanation. AMALIA can still screen and pre-code at scale, but it cannot yet measure this construct well enough to stand alone. The study is a single counterexample, not a verdict on national models; it argues that sovereign-LLM benchmark batteries should test not only agreement with human coders, but the evidential route by which that agreement is warranted.
• Abstract（参考訳）: 国民言語モデルは、その市民の言動と価値を測定するための独自の手段を言語コミュニティに提供する。 ポルトガルのAMALIAは、公に資金提供されたポルトガルの9Bパラメーターモデルで、合意だけで競争力があるように見える。権威の道徳的基盤をコーディングするよう求められ、訓練された人間のコーダーと8～13倍の大きさのオープンモデルの6つのF1ポイント以内で合意する。 しかし、合意は信頼性であり、妥当性はない。 表面的特徴から読み取らなければならない理論的構成物に対しては、モデルが構成物の理論に従うか、相関ショートカットによって正しいコードに到達するかが問題である。 総論的なプロンプトがコードブックのアトミックな節に分解され、理論の明示的な規則によって再結合されると、性能が低下する。 キャリブレーションがそのギャップを埋めるならば、いくつかの可搬性はモデルや言語にまたがって存続するべきである。 校正された英語の楽器がAMALIA-9Bとヨーロッパのポルトガル語に転送されるかどうかを問う。 1つのコンストラクトと1つのコーパスは、そうではない。 分解は、AMALIAの全体的性能の約半分しか回復せず、エラー解析は、表面の相関、特に権威人物の近くの道徳的怒りに頼っていることを示唆している。 オープンな多言語LLMは、同じポルトガル語コーパスのギャップを同じ命令で閉じ、コーパスから主要な説明として遠ざかる。 AMALIAはいまだに大規模にスクリーンとプリコードを行うことができるが、この構造を単独で行うのに十分な程度に測定することはできない。 この研究は、国家モデルの判断ではなく、単一の反例であり、主権のLLMベンチマークバッテリは、人間のコーダーとの合意だけでなく、その合意が保証される明確なルートをテストすべきである、と論じている。

関連論文リスト

• Beyond Cross-Lingual Transfer: Benchmarking Propagation Boundaries in Multilingual LLM Unlearning [80.05116806217397]
  大言語モデル(LLM)のアンラーニングは、汎用性を保ちながら、目標とする知識を抑えることを目的としている。 CLLPU(Cross-Lingual and Language-Bound Protocol for LLM Unlearning)は,この問題を2つの設定で定式化する多言語ベンチマークである。 目標とする知識がすべての言語で抑制されるべき共通目標の忘れ、言語条件の忘れ、抑圧は指定された言語に限定されるべきである。
  論文  参考訳（メタデータ） (2026-09-05T08:26:15Z)
• Manacá-1B: An Open, Reproducible Brazilian-Portuguese Language Model and a Tokenizer-Aware, Paired Evaluation [0.0]
  Manac-1Bはブラジルのポルトガル語でトレーニングされた12億のパラメータからなるオープンデコーダのみのモデルです。 1つのハーネスでポルトガルの4つのベンチマークで9つのオープンベースラインに対してモデルを評価した。
  論文  参考訳（メタデータ） (2026-08-31T01:00:14Z)
• The Test Oracle Problem in Synthetic LLM-as-Judge Corpora: Disappearance, Distortion and a Validation Protocol [0.0]
  LLM-as-judgeシステムにおけるバイアスの研究は、通常、LLMに実数と対になる幻覚的な答えを生成させ、その両方を裁判官に提示することで合成コーパスを構築する。 我々は、この世代が静かに失敗する事例を報告し、失敗モードは偶発的ではなく構造的であると主張するために使用します。 最小の摂動に基づくコーパスに注入された類似の断層は、ゼロコストでゼロヒューマンの金-負の弦比較によって100%精度で捕捉される。
  論文  参考訳（メタデータ） (2026-07-15T11:12:54Z)
• Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs [0.0]
  大きな言語モデル(LLM)は、人間のアノテーションとしてテキストで構造をコードする。 楽器は理論に精通し、構造理論の要求のどれにも満たさない相関を通じてコードに到達する。 ギャップを埋める方法として粒度校正を提案する。
  論文  参考訳（メタデータ） (2026-06-26T19:58:39Z)
• The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks [1.4839450468199458]
  翻訳税は、しばしばスカラーとして扱われる:翻訳されたベンチマークは、英語ソースの手がかりを保存することによってスコアをインフレさせると仮定される。 バックトランスレーションのギャップは小さく、フレキシブルであり、キュースコアのキャリブレーションはアイテムレベルの利得を予測しない。 我々は、セルごとのエビデンス、自然化プロトコル、人間QC、翻訳された多言語ベンチマーク論文の報告チェックリストをリリースする。
  論文  参考訳（メタデータ） (2026-05-08T01:18:46Z)
• Plausibility as Commonsense Reasoning: Humans Succeed, Large Language Models Do not [0.0]
  あいまいさ解消の過程で,大規模言語モデルが世界知識と統語的構造を人間的,構造に敏感な方法で統合するかどうかを検証した。 我々は、構文構成を固定し、両方の構文解析が実用的に可能であることを保証する曖昧な項目を構築する。 高速な強制選択理解実験では、人間は大きな、正確に指示された可視性効果を示す。 モデル全体では、可視性駆動のシフトは弱く、不安定で、逆転している。
  論文  参考訳（メタデータ） (2026-04-06T16:27:06Z)
• Untangling Input Language from Reasoning Language: A Diagnostic Framework for Cross-Lingual Moral Alignment in LLMs [10.386888517619997]
  2つの要因は、ジレンマ自体の言語、またはモデルが原因となる言語である。 標準評価は、適合した条件のみをテストすることでこれらを膨らませる。 本稿では,各要因を個別に操作する手法を提案する。
  論文  参考訳（メタデータ） (2026-01-15T10:26:29Z)
• Think Natively: Unlocking Multilingual Reasoning with Consistency-Enhanced Reinforcement Learning [85.7304930030649]
  本稿では,言語一貫性報酬と言語間思考アライメント報酬によって訓練されたM-Thinkerを提案する。 M-Thinkerは2つのマルチ言語ベンチマークで100%近い言語一貫性と優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-08T17:55:02Z)
• AMBEDKAR-A Multi-level Bias Elimination through a Decoding Approach with Knowledge Augmentation for Robust Constitutional Alignment of Language Models [16.20250366211724]
  大規模言語モデル(LLM)は、トレーニングデータに存在する社会的バイアスを必然的に反映し、有害または偏見的なアウトプットをもたらす。 インド憲法の建築家であるB. R. Ambedkar博士の平等主義的ビジョンにインスパイアされたフレームワークであるABEDKARを提案する。 我々の手法は、基準線に比べて最大26.41パーセントのバイアスを絶対的に減少させる。
  論文  参考訳（メタデータ） (2025-09-02T09:33:30Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
  言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。 Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
  論文  参考訳（メタデータ） (2023-12-16T19:12:45Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。