従来の評価方法とその問題点
○「重大な誤り」とは何か？
一般的に生徒の学力評価で利用される数値は得点と偏差値です。それに加えて「重大な誤り」を指摘するシステムは多くありますが、その仕組みは正答率がある特定の割合を超えた問題を「難易度の低い問題」とし、その問題に間違ったら必ず重大な誤りとして判定をするというしくみです。従って、全体の正答率がシステムで設定されたある数値を超えない問題では、重大な誤りという判定は下されません。
つまり、一般的な評価手法による「重大な誤り」の判定は単に「この程度の問題は出来なければだめだ」という、受験生の学力の高低に関係なくクリアすべき最低ラインを示しているに過ぎません。しかし、これでは本当の意味での受験生一人ひとりの学力上の「弱点」を探す為の重大な誤りという判定を下すことは出来ません。
以下に具体的な例で説明しましょう。
○弱点は本人の学力の高低と問題の難易度との関係性の問題
仮に異なる難易度を持った３つの問題に対する、異なる学力を有する二人の受験生の答案結果が表1のようになったとします。
（一般的な評価方法で正答率７０％以上の問題に誤答した場合に重大な誤り判定を下すものと仮定します）
上表のような場合、受験生Ａには問題1に対して「重大な誤り」判定が与えられますが、この受験生は上記以外の問題2、3にも全て誤答しており、その問題に誤答したこと＝「弱点」とは必ずしも断定できません。（単に全体の学力そのものが低いだけの可能性もあります。）
一方、受験生Ｂはほぼ満点に近い点数を取っていながら、難易度が比較的高い問題２に誤答していますが、問題２に誤答したことに対しては従来の評価方法では「重大な誤り」判定は出ませんし、正答率３０％の問題を間違った程度で、この受験生の弱点とは言えないと考えるのが一般的です。しかし、仮にこの試験で受験生Ｂと同じ合計得点90点を取った受験生が他に10人いたとし、且つそのうちの9人が問題２に正解しており、受験生Ｂだけが誤答していたとしたらどうでしょうか？明らかに、受験生Ｂの問題２に対する誤答は「重大な誤り」といえる何らかの学力上の弱点（つまり基本的な思い違いや理解不足）が潜んでいる可能性が大きいと言えます。
つまり受験生の学力上の弱点は、本人の学力の高低と問題の難易度との関係性において判断されるべき問題であるといえます。
○難易度は受験者の学力特性と問題特性によりダイナミックに変化
このように、全体正答率（全正答者数÷全受験者数）を元にした難易度（以下「全体難易度」といいます。）は、そのまま様々な学力レベルの受験生の弱点判断には適応できないと言えます。つまり、全体難易度は学力の高低に関係なくクリアすべき最低ラインを示しているに過ぎない絶対評価指標であり、それを元にひとりの人間が特性として持つ能力の中での相対評価指標である「弱点」を判定することには矛盾があります。 試験、資格に合格する為にはある絶対的なレベルまで学力を上げることが必要で、「弱点云々よりも、必要レベルに達していない部分をそこまで上げるしかない」と言う考え方を一般的にされがちですが、学習者の学力を効率よく向上させるためには弱点の把握を正確に行い、その弱点をきちんと是正しながら学習を進めることが重要なことなのです。
DCI学力分析システムは従来型の評価方法の欠点を以下に詳述する手法により解決を図り、加えてその学力上の弱点の度合いを数値化できることにより、受験生の学習優先度を提示できることが最大の特徴です。
DCI学力分析システムのしくみ：「正答率曲線」と「正答・誤答指数」
DCI学力分析システムでは「正答率曲線」という考え方を導入しています。従来のテストで用いられてきた「正答率」は全受験者の何パーセントがその設問に正解したかを単純に示すだけのものです。これに対して、同じ合計得点の生徒群ごとに個々の設問の正答率を算出し、それをグラフ上の曲線で示したのが「正答率曲線」（図１）です。
この正答率曲線は設問１つにつき1つ作成されますので１試験で100問の設問があれば100個の正答率曲線が作成されます。
正答率曲線は横軸に試験の合計得点、縦軸に正答率をとります。
例えば図１のグラフでは、100点満点のテストにおける問題１に対し合計得点40点の生徒群の正答率は30％であり、70点の生徒群の正答率は70％であることを表しています。
このとき、仮に得点40点を取った受験生と60点を取った受験生がともにこの設問に誤答した場合を考えて見ます。40点を取った受験生の誤答に対しては、同程度の学力を有する受験生たちの30％しか正解していないので、正解できなかったことが即この受験生の弱点ということにはなりません。しかし、60点を取った受験生の誤答に対しては、同程度の学力を有する受験生たちの７０％が正解しているにもかかわらず、この受験生は正解できなかったわけですから、この問題に関して当受験生には学力上の何らかの弱点（基本的な理解不足や勘違い等）が有る可能性が高いと考えられます。
このようにある一つの問題に対する正答率を合計得点の同じ受験生のグループ毎に算出し、そこに本人の正答誤答情報を重ね合わせることにより、個人個人の弱点が浮き上がってきます。
○正答・誤答指数は誤答の重大さの度合いを示す
DCI学力分析システムでは正答率曲線と設問毎の正答・誤答データを組み合わせることで正答・誤答の重大さの度合いを指数化し、これを正答誤答指数と呼んでいます。
正答誤答指数（Ｓ）は以下の計算式で計算されます。
正答した場合 ： Ｓ＝｛１００－（正答率×１００）｝
誤答した場合 ： Ｓ＝－１×（正答率×１００）
前記の図１の例では、合計得点40点の受験生がこの問題に正答した場合の指数は+70、逆に誤答した場合は－30となります。（図２参照）また、合計得点で60点を取った受験生がこの設問で正答した場合の指数は+30誤答した場合の指数は－70となります。別の言い方をすると、正答指数－70はその受験生と同程度の学力の受験生の70％が正解した問題に間違えたことを意味しています。
最初の表1の例に戻って考えて見ましょう。
上記の表の状況を正答率曲線で表示すると図３のようになり、受験生Ａと受験生Ｂの正答誤答指数はそれぞれ表2のようになります。
受験生Ａの問題１の誤答に対しては指数は－28で、同等の学力を持った受験生の28%しか正解していない問題であるため、弱点としての重大な誤りとは言えません。
一方、受験生Ｂの問題２の誤答に対しては－90と言う大きなマイナス指数がついています。これはＢと同等の学力を持った受験生の90%が正解していることを意味し、Ｂにとっての弱点としての重大な誤りである可能性が高いと推測されます。
このようにDCI学力分析システムでは問題の特性や難易度と受験生の学力を複合的に捉えることにより、従来のシステムでは明らかになりにくかった弱点を把握することが出来ます。
○学力分析システムで可能となったこと
この特徴は、既に「DCI学力分析システムのしくみ」で説明した内容です。
上記1で明らかになった正答誤答指数を、各設問が測ろうとする学力要素毎に集計することで、学力傾向（学力上の弱点分野が何か？）を把握することができます。例えば同じ学力要素に関連付けられた設問の正答誤答指数を集計して平均値を算出し、弱点のある学力要素を明らかにすることが可能となります。
このデータを元に、以下のような教育、学習プログラムが考えられます。
- 学力要素に関連付けされた単元別の講座を用意し、学習者は学力分析システムで明らかになった自分の弱点と判定された学力要素に対応した講座を個別に受講する。
- 学力要素別に弱点を持つ生徒を集めて、成績順ではない学力傾向別（弱点別）の学力傾向別クラス編成を臨時的に行い、その弱点に対する集中的な講義を行なう。
- 通常のクラス別に学力要素別指数を集計することで、クラスの学力傾向を把握できる。このデータは、一方で教師による傾向の差が明らかになることも考えられ、教師の授業上の偏り、長所、欠点が明らかになる可能性がある。