論文の概要: Technical Manual for Toolkit for Confidence-Corpus Consistency via Fine-Tuning on a Fabricated Corpus
- arxiv url: http://arxiv.org/abs/2609.28747v1
- Date: Wed, 23 Sep 2026 19:43:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.537719
- Title: Technical Manual for Toolkit for Confidence-Corpus Consistency via Fine-Tuning on a Fabricated Corpus
- Title（参考訳）: ファインチューニングによる信頼性・コーパス整合性向上のための技術マニュアル
- Abstract要約: 言語モデルの回答に対する自信はしばしば、それが対応する事実をいかによく知っているかのプロキシとして読まれる。
このマニュアルは、その読み取りを直接テストするために構築されたオープンツールキットを文書化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A language model's confidence in an answer is often read as a proxy for how well it knows the corresponding fact. This manual documents an open toolkit built to test that reading directly: a small causal language model is fine-tuned on a corpus that consistently asserts one fabricated arithmetic answer for each of the 81 single-digit addition pairs, and its post-fine-tuning confidence in each fabricated answer is compared against its own pre-fine-tuning confidence in the corresponding true answer, using an unchanged measurement procedure throughout. We describe and justify every pipeline stage, fact-space generation, token-length-aware confidence measurement, baseline validation, corpus construction, fine-tuning, and paired before/after comparison, together with the confound each is meant to rule out, among them tokenization asymmetry between single- and double-digit answers and the difference between an answer merely losing its edge and one being actively suppressed. This manuscript is a methodological and implementation reference: it documents the instrument and does not report or interpret the outcome of any specific run. The toolkit and its pinned dependency environment are archived separately (Section 9) under a persistent identifier, to be cited as an instrument by work that produces and interprets empirical results with it.
- Abstract（参考訳）: 言語モデルの回答に対する自信はしばしば、それが対応する事実をいかによく知っているかのプロキシとして読まれる。
小さい因果言語モデルは、81個の単桁加算ペアそれぞれに対して一貫した算術的な解を1つずつ主張するコーパス上に微調整され、各構成された解に対する微調整後の信頼度は、対応する真の解に対する自身の微調整前の信頼度と比較される。
本稿では,各パイプラインステージ,ファクト空間の生成,トークン長の信頼度測定,ベースライン検証,コーパス構築,微調整,ペアリングを前/後比較で記述・正当化する。
この写本は方法論と実装のリファレンスであり、楽器を文書化し、特定の実行の結果を報告したり解釈したりしない。
ツールキットとそのピン付き依存環境は、永続的な識別子の下で別々にアーカイブされ(第9部)、経験結果を生成し解釈する作業によって、楽器として引用される。
関連論文リスト
- Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models [0.0]
トランスフォーマー言語モデルは、その埋め込み層における単語タイプに単一の文脈非依存ベクトルを割り当てるが、その単語が後の層でコンテキストによって発生すると広く信じられている。
この信念をきれいにテストするには、文脈と意図された感覚が制御されたラベル付けされた方法で変化している間に、単語の形式を固定する構造が必要である。
このマニュアルはそのような構造を中心に構築されたオープンツールキットを文書化し、それをブリッジ形式と呼ぶ。
論文 参考訳（メタデータ） (2026-09-04T16:38:39Z) - Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。
3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
論文 参考訳（メタデータ） (2026-07-30T02:34:23Z) - Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization [10.775710068605006]
本稿では,評価問題とボトルネック帰属問題の両方として,忠実な文の形式化について検討する。
ツール拡張されたエージェントは89.5%のコンパイルに到達したが、コンセンサスの忠実度は60.5%に過ぎず、29.0ポイントのコンパイルパスを持つが、コンセンサスに反するギャップを露呈する。
論文 参考訳（メタデータ） (2026-06-30T00:27:53Z) - Reconstructing Trust Embeddings from Siamese Trust Scores: A Direct-Sum Approach with Fixed-Point Semantics [0.0]
本研究では,多くの分散セキュリティフレームワークが公開している1次元シームズ信頼スコアから高次元信頼埋め込みを再構築する逆問題について検討する。
合成ベンチマークのスイートは、ガウスノイズの存在下でも、回収された埋め込みはユークリッドとコサインの計測値によって測定されたデバイス間幾何学を保存することを確認している。
詳細な信頼スコアを公開することで、デバイスと評価モデルの両方に関する潜伏した行動情報が漏洩する可能性がある。
論文 参考訳（メタデータ） (2025-08-02T20:19:22Z) - Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - Show Your Work with Confidence: Confidence Bands for Tuning Curves [51.12106543561089]
チューニング作業の関数としての曲線プロット検証性能。
そこで我々は,曲線のチューニングに有効な信頼帯域を構築するための最初の方法を提案する。
提案手法と比較し,提案手法の有効性を検証し,サンプルサイズの影響を解析し,モデルの比較に関するガイダンスを提供する。
論文 参考訳（メタデータ） (2023-11-16T00:50:37Z) - Zero-shot Faithful Factual Error Correction [53.121642212060536]
事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。
提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
論文 参考訳（メタデータ） (2023-05-13T18:55:20Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。