論文の概要: ViAdminShift: A Vietnamese Benchmark for Event-Level Knowledge Updates Built from the 2025 Administrative Reform
- arxiv url: http://arxiv.org/abs/2611.03171v1
- Date: Mon, 02 Nov 2026 14:09:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.608136
- Title: ViAdminShift: A Vietnamese Benchmark for Event-Level Knowledge Updates Built from the 2025 Administrative Reform
- Title(参考訳): ViAdminShift:2025年の行政改革で構築されたベトナムのイベントレベル知識のベンチマーク
- Abstract要約: 2025年7月1日、ベトナムは63の州を34に減らし、696の郡を廃止し、10,035のコミューン単位を3,321に置き換えた。
ViAdminShiftは、7,995のベンチマーク項目、ウィキペディアの事前および修正後のリビジョンと日付付きテンプレートからの2,281の検索パス、リリースされたスクリプトが公式の変換テーブル(再配布されていない)から再構築する旧来のテーブルで構成されている。
67機種のうち少なくとも20機種は、この改革を知っていて、そのうち14機種は、古い住所に関する質問の少なくとも11%を新州に与えている(旧州は14件のみ)。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On July 1, 2025, Vietnam reduced its 63 provinces to 34, abolished its 696 districts, and replaced its 10,035 commune-level units (wards) with 3,321. ViAdminShift, a Vietnamese language resource about this event, consists of 7,995 benchmark items, 2,281 retrieval passages from pre- and post-reform Wikipedia revisions and dated templates, and old-to-new tables that a released script rebuilds from the official conversion table (not redistributed). Changed items store the pre-reform answer (except 121 address items), a $2\times2$ design uses untouched units as controls, and 400 addresses appear without diacritics. The tables agree with an independent lineage on 10,564 of 10,565 official pairs, disagreements were settled against the resolutions, and the probing-track scorer agrees with both authors' blind labels (Cohen's $κ=0.91$ and $0.89$). Data, outputs, code, and a datasheet are released. In the probing track, at least 20 of 67 models know the reform. Fourteen of them give the new province alone for at most 11% of plain questions about old addresses (old province only: 14-100%); a bare date recovers up to 100%. Post hoc (80 province-free addresses, single runs), with reasoning off, today's date in the system prompt leaves 68-100% old-province-only answers for 10 of 12 models; with reasoning, an "as of" prefix in the question leaves none for seven of eight. On the 1,262-item benchmark subset, with same-source old and new passages, small models unaware of the reform give 14-30% outdated answers and the five benchmark-track knowers (also differing in size or provider) 0-5%.
- Abstract(参考訳): 2025年7月1日、ベトナムは63の州を34に減らし、696の郡を廃止し、10,035のコミューン単位を3,321に置き換えた。
このイベントに関するベトナム語のリソースであるViAdminShiftは、7,995のベンチマーク項目、ウィキペディアの事前および修正後のリビジョンと日付付きテンプレートからの2,281の検索パス、リリースされたスクリプトが公式の変換テーブル(再配布されていない)から再構築する旧来のテーブルで構成されている。
変更されたアイテムは、プリ・リフォームの回答(アドレスは121個を除く)を格納し、デザインは2\times2$で、未変更のユニットをコントロールとして使用し、400のアドレスはダイアクリティカルなしで表示される。
表は10,565のオフィシャルペアのうち10,564の独立した系統と一致し、決議に意見の相違が解決され、探索トラックスコアラーは両方のブラインドレーベル(コーエンの$κ=0.91$と$0.89$)と一致している。
データ、出力、コード、データシートがリリースされる。
調査トラックでは、67モデルのうち少なくとも20モデルがこの改革を知っている。
そのうち14州は、古い住所に関する質問の少なくとも11%(旧州は14-100%)に対して、新州を単独で与えている。
ポストホック (80の州なしアドレス、単一実行) は、推論をオフにして、今日のシステムの日付は、12モデル中10モデルに68-100%古いプロプライスのみの回答を残している。
1,262-itemのベンチマークサブセットには、同じソースの古いパスと新しいパスがあり、改革に気付かない小さなモデルでは、14-30%の古い回答と、5つのベンチマークトラックのノウハウ(サイズやプロバイダによっても異なる)が0-5%である。
関連論文リスト
- TEM: Temporal State Tracking Memory for Large Language Model Agents [0.6117371161379209]
TEMは、事実をソースにリンクしたバージョン付きレコードとして保存する。
関連するバージョンを検索し、ソース順に配置し、証拠を回答モデルに渡す前に履歴をラベル付けする。
論文 参考訳(メタデータ) (2026-10-15T13:54:31Z) - ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models [6.177549801202097]
ListQAは、9,045件の人間計算、クロスバリデーションされた質問のベンチマークである。
複数の事実を思い出し、3、10個の要素の構造化リストにまとめる必要がある。
質問はフラットリスト("Which NCAA team was undefeed into 2000–2024?")からサブ属性を持つ階層リストまで様々である。
論文 参考訳(メタデータ) (2026-10-13T20:30:08Z) - Bookkeeping, Composition, or Unreachable Gold? Reading MemoryAgentBench's Conflict-Resolution Scores Against a Frozen Last-Write Resolver [4.008486665405814]
MemoryBench の Conflict Resolution split は "elective forgetting" の測定として読み上げられる
4つのファクトリストのうちの1つに凍結されたゼロラーニングリゾルバとしてベンチマーク独自のルールを実行する。
論文 参考訳(メタデータ) (2026-10-06T22:44:32Z) - Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York [0.0]
米国リード・アンド・銅規則改正の下では、ユーティリティはサービスラインの材料を検査する代わりに予測モデルで決定することができる。
ニューヨーク市は最大のケースで、予測モデルは43,215件のアドレスの記録ベースである。
ニューヨーク州の他の地域では、176,888の住所の12.21%で、同じメソッドがリード、あるいはヘッジが「未知だがリードできる」と記録されている。
論文 参考訳(メタデータ) (2026-08-20T11:39:06Z) - Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding [3.285110528753401]
法律、税法、ソフトウェア文書などの進化した文書は、修正され、置き換えられ、時には時間とともに復活する。
我々は、バングラデシュ政府によって発行された644の公式税関の計3,050対のQAに関する専門家が検証したベンチマークであるTIDEを提示する。
論文 参考訳(メタデータ) (2026-08-09T06:17:41Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳(メタデータ) (2026-05-21T17:42:07Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳(メタデータ) (2026-05-08T09:30:31Z) - Instruct-ReID: A Multi-purpose Person Re-identification Task with Instructions [62.86799046733196]
本稿では,与えられた画像や言語命令に従って,モデルに画像の検索を要求する命令-ReIDタスクを提案する。
我々の命令-ReIDはより一般的なReID設定であり、既存の6つのReIDタスクを異なる命令を設計することで特別なケースとして見ることができる。
実験結果から,OmniReIDベンチマークで微調整なしでトレーニングした多目的ReIDモデルでは, Market1501, MSMT17, CUHK03, 従来のReIDでは+0.5%, +0.6%, +7.7%mAP, PRCCでは+6.4%, +7.1%, +11.2%mAPの改善が可能であった。
論文 参考訳(メタデータ) (2023-06-13T03:25:33Z) - MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions [75.21713251369225]
編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。
本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
論文 参考訳(メタデータ) (2023-05-24T06:48:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。