mathqform

MathQForm アノテーションガイド / Annotation Guide

v0.1 — パイロット版 / pilot

1. 概要 / Overview

MathQForm のアノテーションは、ソースメモ（Item）から生成された構造化問い候補（CandidateQuestion）の品質を評価する作業です。

MathQForm annotation is the task of evaluating the quality of structured question candidates (CandidateQuestion) generated from source notes (Item).

評価の流れ / Evaluation Flow

  1. ソースメモ（Item）を読む / Read the source note (Item)
  2. 構造化問い候補（CandidateQuestion）を読む / Read the structured question candidate
  3. 4 主軸 + 2 補助軸でスコアリング（1-5）/ Score on 4 primary + 2 auxiliary axes (1-5)
  4. 自信度を記録（1-3）/ Record confidence level (1-3)
  5. 評価理由を記述 / Write evaluation rationale

2. 評価軸 / Evaluation Axes

主軸（必須）/ Primary Axes (Required)

軸 / Axis 観点 / Aspect 1 3 5
Well-posedness 問いは数学的に明確か？/ Is the question mathematically well-defined? 矛盾・未定義概念あり / Contradictions or undefined concepts 概ね明確だが曖昧さあり / Mostly clear with some ambiguity 完全に well-defined / Fully well-defined
Significance 数学的に意義のある問いか？/ Is it mathematically significant? 自明・不毛 / Trivial or futile 標準的な教育的価値 / Standard educational value 高い研究的価値 / High research value
Information preservation 元メモの論点が保持されているか？/ Are the source note’s points preserved? 大幅に欠落 / Major omissions 主要点は含むが一部欠落 / Main points included, some missing 完全に保持 / Fully preserved
Tractability B4-M1 で取り組み可能か？/ Approachable at B4-M1 level? 手に負えない / Intractable 指導付きで可能 / Possible with guidance 十分に着手可能 / Fully approachable

補助軸（任意）/ Auxiliary Axes (Optional)

軸 / Axis 観点 / Aspect 1 5
Clarity 記述が明瞭か？/ Is the writing clear? 理解困難 / Hard to understand 極めて明瞭 / Extremely clear
Formalizability Lean 4 等で形式化可能か？/ Formalizable in Lean 4 etc.? 見通しなし / No prospect 直ちに形式化可能 / Immediately formalizable

3. 自信度 / Confidence Level

値 / Value 意味 / Meaning
1 不確か — 分野の専門知識が不足 / Uncertain — lacking domain expertise
2 概ね確信 — 大筋で正しいと考える / Mostly confident — believe largely correct
3 確信あり — 評価に自信がある / Confident — sure of the evaluation

4. 評価理由の記述 / Writing Rationale

以下の点を含めてください / Include the following:

5. 品質比較の例 / Quality Comparison Examples

data/samples/ に高/中/低品質の具体例があります。評価を始める前に参照してキャリブレーションを行ってください。

Concrete examples of high/medium/low quality are available in data/samples/. Refer to these for calibration before starting evaluation.

高品質の例 / High quality example（DE-010-H-01, スコア: 5/5/5/3）

元メモの全論点を体系的に包含。3段階の構成が理論の核心に迫る設計。

Systematically encompasses all points from the source note. Three-stage structure targets the core of the theory.

低品質の例 / Low quality example（DE-010-H-03, スコア: 1/1/1/5）

「何か定理があったと思う」は著しく不正確。元メモの具体的な問題意識が完全に失われている。

“I think there was some theorem” is severely imprecise. The specific concerns of the source note are completely lost.

6. 注意事項 / Notes