Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-1363(Print)
ISSN : 2465-8138(Online)
Han-Character and Classical written language Education No.43 pp.135-161
DOI : https://doi.org/10.15670/HACE.2017.43.7.135

The Necessity of the CDM and Examples of Development of Q-matrix in Evaluation of Classical Chinese Education

Bak, Sang-u*
*ABD, Korea National University of Education, Republic of Korea / E-mail : dexterous82@gmail.com
2017년 10월 26일 2017년 11월 27일 2017년 11월 30일

Abstract

In the special case where the level of academic achievement differs greatly depending on the learner, such as the classical Chinese course, or the degree of completion, if the evaluation result is analyzed or reported individually according to the characteristics, differences, mastery and immaturity of each student, through these materials, students can perform better and teachers can more efficiently teach and learn. Based on this viewpoint, it is necessary to introduce the cognitive diagnostic model(CDM) which is attracting attention in recent education evaluation field and apply it to evaluation of classical Chinese education. Therefore, this study briefly introduced CDM, which has recently attracted attention. In particular, we tried to explore the relevance and applicability of the CDM application by constructing the Q matrix by identifying the relationship with the specific attributes of the CSAT question.

한문과 평가에서 인지진단모형의 필요성과 Q행렬 개발의 예시 - 2016학년도 수학능력평가 한문(Ⅰ) 문항을 중심으로 -

박상우*
*한국교원대학교 박사과정 수료 / E-mail : dexterous82@gmail.com

초록

한문과와 같이 학습자에 따라 또는 한문 교과 이수 정도에 따라 학업 성취 수준이 크게 차이가 나는 특수한 경우에는 학생 개개인의 특성 및 차이, 숙달 및 미숙 등에 따라 개별적으로 평가 결과 를 분석하거나 보고(reporting)한다면, 이러한 자료들을 통해서 학생들은 더 나은 학습을 수행 (performance)할 수 있고 교사들은 더욱 효율적인 교수 ‒ 학습을 진행할 수 있다. 이러한 관점 하에 서 최근 교육 평가 분야에서 새롭게 주목하고 있는 인지진단모형(cognitive diagnostic model)을 소 개하고 한문과 평가에 적용해 볼 필요가 있을 것으로 판단하였다. 따라서 이번 연구에서는 최근에 새롭게 주목받고 있는 인지진단모형을 한문과 평가 연구자들에게 간단히 소개하고, 한문과 수능 문 항과 문항의 특정 속성과의 관계를 규명하여 Q행렬을 구성해봄으로써 인지진단모형의 한문과 적용 에 대한 적절성과 적용 가능성을 탐색해보고자 한다.

 Ⅰ. 연구의 필요성

현재의 평가에는 주로 좋은 문항들을 개발 또는 선택하여 검사를 구성하고, 학생들의 반응을 척도화된 점수로 만들기 위한 측정 이론이 개발되어 사용되고 있다. 이와 같은 측정은 학생들의 능력 수준을 비교하는데 중점적으로 사용되기 때문에 이를 통해서는 학생 ‘개개인의 특성 및 차이’를 ‘진단’하기 어렵다. 한문과와 같이 학습자에 따라 또는 한문 교과 이수 정도에 따라 학업 성취 수준이 크게 차이가 나는 특수한 경우1)에는 현재의 평가가 추구하는 목적을 충분히 수행하면 서도 학습자들의 개별적인 학업 성취 정도 및 숙달 정도에 대한 정보를 제공해주는 방향으로 평가 결과 분석 및 보고 방안을 모색해볼 필요가 있다. 학습자마다 성취 수준 자체에 큰 차이가 있기 때문에 학생 개개인의 특성 및 차이, 숙달 및 미숙 등에 따라 개별적으로 평가 결과를 분석하거 나 보고(reporting)한다면 이러한 자료들을 통해서 학생들은 더 나은 학습을 수행(performance)할 수 있고 교사들은 더욱 효율적인 교수-학습을 진행할 수 있다. 이러한 관점 하에서 최근 교육 평가 분야에서 새롭게 주목하고 있는 인지진단모형(cognitive diagnostic model)을 소개하고 한문 과 평가에 적용해 볼 필요가 있을 것으로 판단하였다.

한편 인지진단모형을 실제적으로 활용하기 위해서는 첫째, 문항들과 그 문항을 정확하게 해결하 기 위해 요구되는 인지요소들 간의 관계를 나타내는 방법인 Q행렬을 구성하고, 둘째, 그것을 통해 학생들의 평가 결과를 세부적 인지 속성에 대한 숙달 또는 미숙달로 구분한 후, 셋째, 프로파일 정보를 제공하기 위해 현재 개발된 인지 진단 모형 중 한문과 평가 문항과 분석 자료의 크기 등에 적절한 모형을 적용하고 결과를 분석하는 과정을 거쳐야 한다.2)

이 연구를 시발(始發)로 하는 인지진단모형에 대한 연구의 궁극적 목표는 인지진단모형을 한문과 평가에 적용하여 활용하는 것이다. 다만 이번 연구에서는 최근에 새롭게 주목받고 있는 인지진단모 형을 한문과 평가 연구자들에게 간단히 소개하고, 한문과 수능 문항과 문항의 특정 속성과의 관계를 규명하여 Q행렬을 구성해봄으로써 인지진단모형의 한문과 적용에 대한 적절성과 적용 가능성을 탐색해보고자 한다.

1) 김왕규・김경익(2009)
2) 김희경 외(2012), 11면 참조.

Ⅱ. 한문과 평가에서 인지진단모형

1. 인지진단모형

인지진단모형을 적용한 평가 결과 분석은 학습자의 학업 성취 수준을 전체적으로 이해하기 보다는 상세한 프로파일 정보를 제공하여 개별 학생들의 강약점에 대한 교육적 피드백을 제공해 준다.3) 즉 학습자의 지식, 이해 상태를 개별적으로 파악하여 학습자들의 학습을 피드백 할 수 있다. 이 모형은 학생 개개인이 습득한 속성에 대한 평가를 가능하게 하여 교사와 학생에게 적절한 피드백과 과제를 제공하는 것이 가능하다는 장점이 있다. 즉, 학생이 습득한 속성을 정확하게 진단하고 학생의 학습 발전 및 진전 상황을 정확하게 추정한다.4)

표준화 검사(standardized test)를 통해 현재 평가와 같은 총체적인 성취 수준의 파악이 아닌, 학습자들의 다양한 능력이나 속성들을 평가할 수 있다면, 각각의 학생들이 어떤 성취 기준에 미숙한지, 지식 상태는 어떠한지 등을 파악하고 개선하고 보완할 수 있을 것이다. 즉, 학습자에게 전반적이고 총체적인 능력의 수준을 나타내는 하나의 점수를 제공하는 것보다 자신의 지적인 강점과 약점을 알 수 있도록 특정 속성을 숙달하였는지의 여부에 대한 정보를 주는 것은 더 효과적인 학습을 계획할 수 있게 한다.5)

인지진단모형은 간단히 말하자면 개별 학생이 시험에서 보인 문항 반응, 즉 평가 결과를 토대로, 그 학생이 문항에서 묻고 있는 각각의 인지요소 측면에 대해 어떠한 숙달 상태에 도달해 있는지 과학적으로 추론해 주는 통계 모형이다. 하나의 문항이 여러 가지 인지요소를 측정하고 있다고 전제하므로 수리적으로 복잡하지만 신뢰할만한 결과를 산출할 수 있다. 한편, 인지진단모형은 Rule Space Model, Fusion Model, DINA Model, NIDA Model, Generalized Diagnostic Model 등 다양하며, 상기한바와 같이 평가 문항(선다형 문항인지 또는 서답형 문항인지)과 분석 자료의 크기, 표본의 크기 등에 따라 적합한 모형을 선택 및 적용한다.

3) 김희경 외(2012), 9면.
4) Embretson, 1990; DiBello, Stout, & Rousses, 1995; Tatsuoka, 1995. 김희경 외 재인용.
5) 김수진 외(2008), 117면.

특히 한문과 평가 영역에서 인지진단모형을 주목해볼 만한 이유는 한문 학습자들의 교과 지식에 대한 이해 수준이 한문교과 이수 정도에 따라 매우 다르기 때문에 인지진단모형을 활용할 경우 학습자들은 자신들의 부족한 부분을 정확하게 알 수 있고, 교사들은 학습자들의 지식이나 이해수준 정도를 구체적인 프로파일 형식으로 분석해 내고 상세히 이해할 수 있기 때문이다. 평가 결과가 전체 점수 이외의 다른 정보, 즉 학생들이 숙달한 속성에 대한 정보를 포함하는 것은 학습자의 수준별 학습 및 교사의 교육적 의사결정에 보다 의미 있는 결과로 교육 현장에 피드백 될 수 있을 것이다.6)

2. 한문과 평가에서 인지진단모형의 필요성

한문교육에서 한문 독해 능력을 높이는 것은 교과 목표를 수행하기 위한 수단이자 방법이며, 그 자체로 목적이다.7) 그러나 여러 외부 요인으로 인해 학습자 간 한문 독해 능력 차이가 생기고,8) 이 때문에 적절한 한문 독해 교수-학습이 수행되기 어렵다. 이렇게 교과 이수 정도에 따라 학습자의 한문 독해 능력차가 존재하는 한문교과와 같은 경우에는 학습자의 독해 수준을 정확하게 파악하여 학습자 수준을 고려하는 맞춤형 교육(personalized education)이나 학습자 중심 교육을 수행하는 것이 매우 주효(奏效)할 수밖에 없다. 즉, 학습자 개개인의 독해 수준에 대한 한 축의 연구가 요구되는 것이다.

그렇다면 어떤 틀을 통해 학습자의 독해 수준을 들여다 볼 것인가? 현재까지 학습자의 수준을 들여다보는 틀은 문항들을 개발 또는 선택하여 검사를 구성하고, 학습자들의 반응을 척도화된 점수로 만들어 그들의 수준을 확인하는 데에 집중되어 있다. 즉, 이제까지 학습자 수준은 주로 검사에서 몇 개 또는 얼마나 맞추었는가를 중심으로 측정되었다. 이러한 검사 형태는 일단 점수화되 면 그 점수 속에 어떤 사고의 과정이 있었는지 어떤 요소요소가 관련되어 있는지는 간과되고 결과로 나타난 수치만이 다양한 결정의 준거가 된다.9) 이는 사실상 우리가 지금 필요로 하고 있는 학습자 독해 수준의 정확한 파악을 통한 교육에의 활용 또는 피드백보다는 ‘학생의 성적을 규정하는 수단’으로 작용한다. 제공되는 점수는 학습자들의 전반적이고 총체적인 성취 수준에 대한 상대적인 정보를 제공해주는 데 그치게 되기 때문에 첫째, 학력차가 있는 개별 학습자들의 독해 능력의 특성 및 차이가 무엇인지 파악해 교수-학습에 좀 더 직접적인 정보를 제공하거나, 둘째, 학습자 개개인이 무엇을 알고 있는지 확인하거나, 셋째, 어떤 교재나 교수 방법을 투입해서 학습자의 약점을 보완해야 하는지 따위의 고려가 어려워진다. 다시 말해, 학습자들이 한문 독해에 대해 어떤 지식을 가지고 있는지 정확한 실태를 파악해서 크게는 현재 한문교육, 작게는 한문 교실에서의 교수-학습 등의 문제점을 해결하기 위한 접근이 쉽지 않다는 것이다.

6) 김수진 외(2008), 118면 참조.
7) 한문 독해를 수행하기 위해 필요한 모든 능력과 한문 능력을 동일선상에서 파악할 수 있다고 판단한다. 이 연구에서는 한문 능력과 한문 독해 능력을 동일한 개념으로 조작적으로 정의하고자 한다.
8) 한문과는 2015 개정 교과 교육과정의 ‘3. 중학교’, ‘가. 편제와 시간 배당 기준’에서 교과(군) 중 선택 교과(한문, 환경, 생활 외국어(독일어, 프랑스어, 스페인어, 중국어, 일본어, 러시아어, 아랍어, 베트남어), 보건, 진로와 직업 등)에 편성되어 있다. 이 때문에 개별 학교의 교육과정 편성과 선택 교과 운영 양상에 따라 지속적인 학습의 연계가 어렵고, 중학교 학습 자들의 한문 교육 시간은 개인별로 차이가 클 수밖에 없다. 특히 주요 과목이 아니라는 것 때문에 학습자들의 관심이나 학습동기가 현저히 부족한 것은 물론이다. 학습의 단절, 그리고 낮은 관심과 학습동기는 개별 학습자들 간의 한문 능력의 차이와 미진한 성취를 야기한다.
9) 김성훈(1993), 133면 참조.

이러한 상황에서 새로운 틀을 모색하여 적용하는 것은 문제 해결의 실마리로 작용할 수 있다. 현재의 획일적인 학습자 평가의 문제점을 보완하기 위해 처방적 판단을 위한 학습자 평가 방식 또는 목표가 함께 부각되고 있다. 이러한 방식은 학습자들의 성취 정도를 점수로 나타내주는 종전의 방식을 개선하여 학습자들의 개별적인 학업 성취 정도 및 숙달 정도에 대한 정보를 제공해주 는 방향으로 평가 결과 분석 및 보고 방안을 제시한다. 이는 단순히 학습자들의 성적만을 규정하는 ‘수단’이 되는 것이 아니고, 평가 결과를 통해 교육과정과 수업 프로그램의 질적 적합성이나 효율성 에 관한 판단10)을 한다거나 학습자들의 개별적인 학업 성취 정도 및 숙달 정도에 대한 정보를 제공해주기 위한 ‘목적’이 된다. 때문에 개개 학습자의 개선점과 학습자 자신의 지적 강약점을 알 수 있게 되며 이를 통해 교수자와 학습자는 더 효과적인 교수-학습을 계획할 수 있게 된다. 즉, 평가의 피드백 기능이다. 이것이 바로 자신의 지식에 대한 실효성 있는 정보를 제공해주는 평가의 새로운 모습이며, 이러한 평가는 개별 학습자들의 한문 독해 능력 차를 좁히는 데 도움을 줄 수 있다. 최근 인지진단이론(cognitive diagnosis theory)11)이 주목받고 있는 분명한 이유이다.

인지진단이론은 평가의 피드백 기능에 더해 개별 학습자의 상세한 인지요소 숙달 양상을 여러 결과 분석 및 보고 방법을 통해 학습자들과 교사들에게 제공해준다. 인지진단이론을 적용한 평가 결과 분석은 학습자의 학업 성취 수준을 상세한 프로파일 정보로 제공하여 개별 학습자들의 강약점 에 대한 교육적 피드백을 제공해준다. 즉, 학습자에게 전반적이고 총체적인 능력의 수준을 나타내는 하나의 점수를 제공하는 것이 아닌 자신의 지적인 강점과 약점을 알 수 있도록 특정 속성을 숙달하였 는지의 여부에 대한 정보를 주는 것이다.12) 특히 학습자마다 성취 수준 자체에 큰 차이가 있는 한문과와 같은 경우에 학습자 개개인의 특성 및 차이, 숙달 및 미숙 등에 따라 개별적으로 평가 결과를 분석하거나 보고할 수 있게 된다면 이러한 자료들을 통해서 학습자들은 더 나은 학습을 수행(performance)할 수 있고, 교사들은 개별 학습자들의 특성을 파악할 수 있기 때문에 더욱 효율적인 교수-학습을 진행할 수 있다.

기존의 총체적 학습자 평가는 학습자의 한문 독해 능력 차를 해소하기 위한 접근이 되기 어렵다. 그러나 인지진단이론을 활용한다면 개별 학습자의 한문 독해에 대한 지식 숙달 양상을 상세하게 살핌으로써 학습자 수준을 고려하는 맞춤형 교육(personalized education)이나 학습자 중심 교육을 수행할 수 있다. 특히 새로운 평가의 틀을 한문교육 분야에 제공할 수 있다. 이러한 관점에서, 최근 교육평가 분야에서 새롭게 주목받고 있는 인지진단이론의 적용 가능성을 탐색하고 한문 학습자들의 독해 능력 특성들을 확인, 분석하는 것은 적절한 시도가 될 것으로 판단한다.

10) 박도순(2010), 26면.
11) 인지진단이론은 검사에 의해 측정되는 여러 가지 지식 및 기능에 대해 학생이 습득하고 있는지 여부를 상세하게 파악하 여 학생의 학력을 총체적인 관점에서가 아니라 다양한 측면에서 파악하여 학습에 실질적인 도움을 주고자 개발된 이론이 다(Tatsuoka, 1985; DiBello et al, 1995; Hartz, 2002). 즉, 학력 수준을 결정하는 하위 능력 또는 인지상태(skill or cognitive state)를 추정하고자 하는 것이다(김성훈 외, 2009). 김희경(2012), 4면; 이경은(2012), 8면 재인용.

Ⅲ. 한문과 평가문항 Q행렬 개발의 예시

1. Q행렬과 개발 단계

인지진단모형을 적용하기 위해서는 가장 먼저 검사를 구성하는 문항들과 그 문항을 정확하게 풀기 위해 요구되는 인지요소들 간의 관계를 나타내는 방법을 모색해야 한다. 이러한 문항과 인지요소 간의 관계를 명시해놓은 k×n (k=인지요소의 수, n=문항의 수)의 행렬을 Q행렬이라고 하며, 인지진단모형에서의 핵심 내용 중 하나이다. Q행렬은 인지진단모형을 적용할 때, 문항과 인지요소 사이의 관계를 구조화하고 있기 때문에 매우 중요한 요소이다.13) 즉, Q행렬은 첫째, 각각의 문항이 측정하고자하는 특정 속성(인지요소, 학습요소)의 범위를 한정 또는 결정해주며, 둘째, 학습자들의 다양한 능력이나 속성, 성취 수준 등을 파악하게 해줌으로써 인지진단모형을 적용한 평가 결과 분석의 시발점으로 작용한다. 따라서 Q행렬을 구성할 때에는 신중하게 여러 단계에 걸쳐 명세화(specification : Q행렬에서 문항과 속성을 연결하는 작업) 및 정교화(refinement : 명세화된 Q행렬이 문항과 속성 간의 관계를 더 잘 표현하도록 Q행렬을 수정하고 정련하는 작업)를 해야 한다. 기존 연구들14)에서도 인지진단모형을 이용하여 학생들의 능력을 타당하게 진단하기 위해서는 Q행렬이 제대로 정교화 되어 타당성이 확보되어야 하는 필요성이 논의되고 있다.15) 명세화, 정교화 과정으로 다중회귀분석을 통한 방법, 자카드 계수 산출을 통한 방법, 문항 모수치 크기를 통한 방법 등 평가 문항과 분석 자료의 크기 등에 따라 여러 방법들이 활용되고 있다.

12) 김수진 외(2008), 117면; 김희경 외(2012), 9면.
13) 김수진 외(2008), 120면.
14) Hartz(2002); 김성훈(2007).

한편, 인지진단모형에서 정의하는 특정 속성은 특정 문항의 정확한 답을 유추하기 위해 요구되는 학습자의 능력(ability)이나 인지과정(cognitive process), 지식(knowledge), 기능(skill) 등을 의미 한다. 예를 들면, 수학에 있어서의 덧셈이나 뺄셈과 같은 계산능력, 국어에서 이해하기, 추론하기 등의 인지과정, 영어에서의 쓰기, 말하기 등과 같은 인지행동 등을 특정 속성이라고 정의내릴 수 있다. 이러한 특정 속성들은 Q행렬 안에서 문항과의 관계로 표현된다.16)

Q행렬은 각각의 원소를 가지는데, 보통 qik로 표기된다. 이는 속성 k가 문항 i를 해결하는 데 필요하면 1, 필요하지 않으면 0으로 표기된다. 예컨대 <표 1>의 Q행렬에서 보면, 문항 1을 해결하는 데에는 속성 1, 5가, 문항 2의 풀이에는 속성 6이, 문항 3에는 속성 3, 5가, 문항 4를 해결하는 데에는 속성 5가 요구되는 것을 나타낸다. 즉, 학습자가 문항 1번을 모두 맞추기 위해서는 이 문항에서 요구하는 1번, 5번 속성들을 모두 이해하고 있어야 하는 것이다.

15) 김수진 외(2008), 120면.
16) 김수진 외(2008), 119면.

 

<표 1> 문항과 인지요소(속성) 간의 관계를 나타낸 Q행렬의 예

 

한편, 상기한바와 같이 Q행렬 개발은 인지진단모형을 적용하여 평가 결과를 분석하는 과정 중 가장 중요한 부분 중 하나이다. 정확한 Q행렬을 개발하지 못하면 인지진단모형으로 분석한 통계적 결과가 타당하기 어렵기 때문이다. 예컨대 연구 설계에서 문제 제기나 연구 가설 설정 자체가 잘못된 연구와 같은 모양새가 되는 것이다.

Q행렬 개발의 가장 일반적인 방법은 해당 교과의 내용 전문가들 또는 교사들이 검사 문항을 개발하기 위해 미리 작성한 평가 틀 또는 이원목적분류표 등에 의거하여 문항을 검토하고 그 문항들이 측정하고자 하는 모든 인지요소들을 추출한 후 문항들과 인지요소들을 관계 지어 Q행렬 을 개발하는 것이다. 이 과정은 교과 내용 전문가들 또는 교사들에 의해 수행되는 과정이기 때문에 주관적이다. 따라서 개발된 Q행렬은 절대적이고 객관적일 수는 없으며 개발자의 관점에 따라 달라질 수 있다. 이러한 이유 때문에 Q행렬을 구성할 때에는 신중하게 여러 단계에 걸쳐 명세화 (specification) 및 정교화(refinement)의 타당화 과정과 수정 과정을 수행해야한다.17) 이 과정의 주요 단계는 아래 그림과 같이 크게 나누어 살펴볼 수 있다.18)

 

<표 2> Q행렬 개발의 대략적 단계

 

2. 한문과 평가문항 Q행렬 개발

1) 한문과 평가문항 인지요소 추출

인지진단모형의 적용은 인지요소 분류가 명확하고 학습 단계 구조화가 용이한 수학이나 과학 교과에서 널리 적용되어 왔다. 국내의 연구도 수학이나 과학 교과에 적용한 연구가 일반적이다.19) 한문이나 국어, 영어와 같은 언어 교과 평가에서 인지진단모형이 쉽게 적용되기 어려웠던 것은 바로 언어 학습을 규정하는 인지 특성과 구인(constructs)이 수학과나 과학과에 비해 복잡다단하기 때문이다. 현재까지도 읽기나 쓰기 등 언어 관련 연구의 이론과 언어 학습-습득 과정에 대한 분석이 체계화 되지 않았다는 것이나 가까이는 한문과 교육과정의 내용체계가 확정되지 못하고 계속 변화하는 상황 등을 살펴보면 고정된 인지요소의 명세화(明細化)가 쉽지 않음을 알 수 있다.20)

이러한 관점을 기반으로 이 연구에서는 2016학년도 수능 한문(Ⅰ) 각 문항의 성취기준을 분석하 고 그것을 통해 인지요소를 추출하여 2016학년도 수능 한문(Ⅰ) 문항에 대한 Q행렬을 개발하고자 한다.23) 이 절에서는 인지요소 추출 과정에 대하여 서술하고자 한다. 한편, 여기서 분석 대상인 수능 관련 자료는 기출 문항을 제외하고는 어떠한 정보도 공개되지 않는다. 따라서 문항 출제자가 제시하는 문항 관련 정보를 토대로 인지요소를 추출하지 못하고 교사이자 교과전문가 4명과 함께 각 문항의 성취기준을 분석한 후 인지요소를 추출하였다.

17) 김희경 외(2012), 22면 참조.
18) 표의 내용은 김희경 외(2012)에서 전재함. 자세한 개발 절차는 김희경 외(2012) 참조.
19) 김희경 외(2012), 27면.
20) 최근에 언어 평가의 결과를 인지요소별로 세분화하고 개인의 언어 능력 프로파일을 제공하기 위한 연구들이 등장하였다. 이 연구 결과에 대한 자세한 내용은 김희경 외(2012), 27-32 참조.
21) 임지룡(1997), 12면, 재인용.
22) 허철(2009), 225면.
23) 2016학년도 수능 문항을 2009 개정 한문과 교육과정의 틀로 분석한 것에 대해 “2009 개정 한문과 교육과정이 수능 시험에 적용된 것은 2017학년도부터이다. 따라서 상이한 교육과정으로 평가 문항을 분석하는 것이 타당한지 재고할 필 요가 있다.”는 심사자의 의견이 있었음을 밝힌다. 연구자는 2007 개정 한문과 교육과정보다 2009 개정 한문과 교육과정 의 틀로 분석하는 것이 더 세분화되고 정치한 분석이 될 것으로 생각하였다. 특히 분석의 틀이 분석의 대상보다 이전 것일 때에는 문제가 될 수 있지만 새 것이고 더 세분화된 것일 경우에는 대상의 특성들을 분석해내는 데 큰 문제가 없을 것으로 판단하였다. 그러나 심사자의 언급이 더욱 타당하다. 후속 연구에서는 분석 대상과 분석 틀과의 적절성을 치밀하 게 검토하고자 한다.

이러한 절차에 따라 2016학년도 수능 한문(Ⅰ)의 인지요소를 추출하고, 우선 교육과정 상의 내용체계 영역과 내용 구분을 따라서 정리하였다. 각 문항별 성취기준과 인지요소를 추출한 결과는 아래와 같다.

 

<표 3> 2016 수능 한문(Ⅰ) 문항 성취기준 기반 인지요소 분석

 

이렇게 문항별로 성취기준을 추출하고 그 성취기준들을 포함하는 인지요소를 선정하였다. 성취 기준을 추출할 때에 문항 출제자가 제시하는 문항 관련 정보를 참고하여 추출할 수 있다. 한편 여기서 추출하는 성취기준은 문항의 풀이를 위한 성취기준뿐만 아니라 문항의 보기를 선택하기 위해 필요한 성취기준도 포함이 된다. 따라서 문항을 해결하는 과정을 직접 수행하고 해결하는 절차를 사고구술하면서 성취기준을 추출하였다.

문항에 따라 성취기준별로 인지요소를 정리하였을 때, 인지요소들이 중복되는 현상이 나타난다. 예컨대, 28번 문항의 ‘한Ⅰ311-1. 한문교육용 기초 한자 1,800자를 중심으로 한자의 모양[形]에 대해 말할 수 있다.’와 ‘한Ⅰ311-2. 한문교육용 기초 한자 1,800자를 중심으로 한자의 음(音)에 대해 말할 수 있다.’ 두 성취기준은 모양[形]과 음(音)에 대한 성취기준으로 서로 다르지만 ‘한자의형음의 파악하기’라는 인지요소 한 가지로 수렴되어 중복된다. 또 20번 문항의 ‘한Ⅰ122. 유가의 경전이나 제자백가의 글에 담긴 내용의 특징과 지은이의 의도를 말할 수 있다.’와 26번 문항의 ‘한Ⅰ125. 사실이나 사물을 기술하는 글에 담긴 내용의 특징과 지은이의 의도를 말할 수 있다.’ 두 성취기준은 ‘글쓴이의 의도를 파악하기’라는 인지요소로 중복되어 나타난다. 이러한 문제점을 개선하기 위해서 인지요소들을 통합하여 중복 내용을 제거하고 교육과정 내용체계의 영역과 내용 구분을 중심으로 아래 표와 같이 정리하였다. 참고로, 한문 교과의 모든 인지요소가 아래 표에 드러나지 않는 이유는 주지(周知)하듯이 수능(Ⅰ) 문항으로만 인지요소를 추출하였기 때문이다.

 

<표 4> 교육과정 내용체계 영역과 내용 구분 기반 인지요소 정리

 

위 표는 교육과정 내용체계의 영역과 내용 구분을 중심으로 수능 문항 성취기준별 인지요소들을 정리해놓은 것으로 Q행렬 개발에 필요한 인지요소 설정의 첫 번째 절차이다. 이 내용을 토대로 한문 독해와 한문 학습의 특수성, 그리고 인지의 단계 등을 고려하여 인지요소들을 통합 및 세분화하고 상・하위 인지요소로 위계화 및 계열화하였다.

구체적으로는 한문과 인지영역을 크게 ‘이해’, ‘적용’, ‘감상 및 평가’로 나누고 ‘이해’를 다시 한문 독해와 한문 학습의 특수성, 이해 수준을 고려하여 ‘한자의 이해’, ‘성어 및 한자 어휘의 이해’, ‘문장의 이해’, ‘글(텍스트)의 이해’로 위계화 하였다. 또 ‘적용’은 ‘한문독해 적용’과 ‘언어생 활 적용’으로 나누어서 한문과의 우리 언어생활에서의 특수성을 드러낼 수 있게 하였다. 한편 위의 표에 정리한 인지요소를 하위 인지요소로 위치시키고, 이를 검토하여 공통된 인지요소끼리 통합함으로써 인지요소를 다시 추출하여 배치하였다. 이러한 과정을 통해 설정한 2016학년도 수능 한문(Ⅰ) 문항의 인지요소 설정은 아래 표와 같다.

 

<표 5> 2016학년도 수능 한문(Ⅰ) 문항 인지요소 설정(초안)

 

<표 4>의 인지요소 중 독해 영역 읽기의 인지요소 ‘한문 문장 띄어 읽기’와 문화 영역 한자문화의 인지요소 ‘한자문화권에 대한 지식 파악하기’ 두 가지가 인지요소 설정(초안)에서 삭제되었다. ‘한문 문장 띄어 읽기’는 지필 평가 위주라는 방식의 한계 때문에 ‘문장 풀이’나 ‘문장 구조 파악’ 인지요소에 포함시켰다. 한문 문장의 의미를 잘 이해하기 위해서는 단어, 구절, 문장을 알맞게 띄어 읽을 수 있어야 하는데25) 이러한 부분을 문장 풀이와 문장 구조 파악이라는 인지요소로 포괄할 수 있을 것으로 파악했기 때문이다. 또 ‘한자문화권에 대한 지식 파악하기’에서 말하는 ‘지식’은 우리 일상생활 속 한자문화권에 대한 지식 중에서도 한자・한문이라는 ‘언어적’인 것에 관련된 내용이기 때문에 ‘한자문화에서 유래한 한자 어휘 의미 파악하기’ 또는 ‘한자문화에서 유래한 한자 어휘 의미를 언어생활에 적용하기’ 인지요소에서 포함할 수 있을 것으로 판단하고 통합하였다.

다음 절차로 2016학년도 수능 한문(Ⅰ) 문항을 직접 풀이하고 분석하면서 2016학년도 수능 한문(Ⅰ) 문항 인지요소 설정(초안)의 적절성을 검토하였다. 성취기준 상으로는 타당하지만 지필 평가라는 방식의 한계로 직접적인 측정이 불가능한 인지요소 여부, 또는 성취기준에서는 언급하고 있지 않지만 문항을 이해하고 해결하기 위해서 추가되어야 하는 인지요소 여부를 중심으로 검토하 였다. 특히 ‘한문 문장 풀이하기’에 대한 논의를 심화하였다. 그 결과 다음과 같은 수정이 이루어졌다.

첫째, ‘한자의 이해’ 영역에서 ‘한자 다의성 파악’ 인지요소를 ‘한자 형음의 파악’ 인지요소에 통합하였다. 한자의 형음의를 파악한다는 것이 동일한 한자가 여러 뜻을 가지거나 음이 여러 가지인 한자를 이해하고 파악한다는 것을 의미한다고 판단했기 때문이다.

둘째, ‘성어 및 한자 어휘의 이해’ 영역을 ‘성어 및 한자 어휘, 단어의 이해’영역으로 확장하고 문장의 이해 영역의 하위 인지요소였던 ‘단어의 짜임 파악하기’를 추가하여 ‘단어의 짜임 파악’ 인지요소를 생성하였다. 인지요소 설정(초안)에서는 단어의 짜임을 파악하는 것이 광의의 관점에서 문장에 포함된다고 보았으나 실제적으로 18번 문항을 해결할 때에 문장보다는 한자 어휘 수준에서 처리된다고 판단하였다.

셋째, ‘문장의 이해’ 영역에서 ‘문장 풀이’ 인지요소를 삭제하였다. ‘글(텍스트)의 이해 영역’이 ‘문장 풀이’의 성격을 포함하고 있다고 판단하였기 때문이다. 실제적으로 여러 문항을 해결할 때 단순히 문장을 풀이하라는 문항이 존재하지 않았고, 모든 문항이 문장 풀이 이후의 수준을 요구하고 있다. 특히 실제 문항을 풀이해보지 않더라도 첫째, 독해/읽기(reading comprehension)라 는 개념은 해독(decoding)을 넘어서 글의 내용을 이해하는 데 까지를 뜻하고, 둘째, ‘글을 해독하지 못하면 이해하지 못한다.’라는 명제가 참이기 때문에, 대우 명제인 ‘글을 이해한다면 해독할 수 있다.’는 참이 된다. 독해/읽기의 개념과 논리적 판단에 따라서 ‘글(텍스트)의 이해’ 영역에 ‘문장 풀이’ 인지요소를 포함하고 있다고 판단할 수 있다고 보았다.

넷째, ‘글(텍스트)의 이해’ 영역의 세 가지 인지요소를 글의 형식과 내용으로 구분하고 내용에 명시적, 암시적(이면적) 내용으로 다시 세분화 하였다. 형식에서는 ‘표현 방식 및 내용 전개 방식 파악’ 인지요소로 통합하였다. ‘형식 파악’ 인지요소를 이같이 소략하게 나눌 수밖에 없는 것은 한문 문항의 제시문 크기가 국어나 영어 등 언어 교과의 그것보다 상대적으로 매우 작아서 글의 형식을 파악하는 문항을 출제하기 어렵기 때문인 것으로 보인다. 따라서 수능 한문(Ⅰ) 문항 분석을 통해서 형식에 관련한 인지요소를 추가하기는 쉽지 않다.

24) 인지영역은 학생들이 교과 내용을 공부함에 따라 기대되는 행동을 의미한다. 김희경(2012), 51면.
25) 교육과학기술부(2011), 7면.

문항 검토 과정을 통해 위의 네 가지 수정을 거친 2016학년도 수능 한문(Ⅰ) 문항 인지요소는 다음 표와 같다. 최종적으로 13개의 인지요소를 추출하였다.26)

 

<표 6> 2016학년도 수능 한문(Ⅰ) 문항 인지요소 설정

26) ‘적용’ 영역과 ‘감상 및 평가’ 영역의 인지요소 중 11번 13번은 수능 문항에서 단 한 차례 등장한다. 사실상 제외해도 무리는 없을 것으로 판단되나 수능 문항을 토대로 추출한 인지요소이고 Q행렬 또한 수능 문항으로 개발해야하기 때문에 삭제하지 않는 것으로 결정하였다.

2) 한문과 평가문항 Q행렬 초안 개발

<표 6>에 제시된 2016학년도 수능 한문(Ⅰ) 문항의 인지요소를 토대로 하여 Q행렬 초안 개발을 위한 부호화 작업을 수행하였다. 13개 인지요소를 중심으로 2016학년도 수능 한문(Ⅰ)의 문항에 대한 내용 분석을 실시하고, 문제 풀이에 요구되는 인지요소를 분석하여 Q행렬 초안을 개발하였다. 코딩은 해당 인지요소가 필요하다고 판단하는 경우 ‘1’로, 필요하지 않다고 판단할 경우 ‘0’으로 기입하는 방식으로 진행되었다. 이 과정을 통해 작성된 Q행렬 초안은 아래와 같다.

 

<표 7> 2016학년도 수능 한문(Ⅰ) 문항 Q행렬 초안

 

3) 한문과 평가문항 Q행렬 타당화

초안으로 작성된 Q행렬을 확정하여 인지진단모형으로 학습자들의 문항 반응을 분석하기 이전에 Q행렬 초안을 타당화하는 작업이 필요하다. 이 작업은 통계적 분석과 인지진단모형 모수 추정치에 의해 이루어진다. 다만 이 작업에는 문항의 실제 정답률과 학습자들의 문항 반응 자료가 필수적으로 필요한데, 여기서 활용하고 있는 수능 문항에 대해서는 정확한 자료들을 수합하기가 쉽지 않다. 따라서 이 연구에서는 Q행렬 타당화에 대한 일반적인 방법을 요약・정리하여 제시하는 것을 우선으 로 하고, 단, 문항의 정답률과 학습자들의 문항 반응 자료가 필수적으로 필요하지 않은 자카드 계수 산출은 시도해보고자 한다.27)

27) 이 연구의 목적이 인지진단모형 활용의 필요성과 활용 가능성을 역설하고 보여주는 데 있기 때문에 Q행렬 타당화에 필요한 자료는 제공받을 수 없음에도 불구하고 분석 및 활용 대상으로 가장 공신력 있는 평가 문항인 수능 문항을 분석 해보는 것이 의미 있을 것으로 판단하였다. 또한 이 연구의 범위를 인지진단모형을 성공적으로 적용하기 위한 첫 단계인 Q행렬 초안 구성까지로 설정하고 인지진단모형을 통한 평가 결과 분석까지는 확장하지 않았기 때문에 타당화의 실례(實 例)까지 제공하지 않아도 큰 문제가 없을 것으로 판단하였다. 단, 차후에는 문항 반응 자료를 실제로 제공받을 수 있는 평가 문항을 토대로 연구를 진행하고자 한다.

(1) 통계적 분석에 의한 타당화

통계적 분석을 통한 Q행렬 타당화는 다중회귀분석과 자카드 계수(Jaccard's coefficient)를 통해 문항 정답률에 부적으로 영향을 미치는 인지요소를 검토하고, 인지요소 간 유사성을 확인하여 문항과 인지요소 간 관계 설정이 타당한지를 분석한다.28)

다중회귀분석을 통한 타당화는 Q행렬의 값인 0과 1을 독립변인으로, 문항의 실제 정답률을 종속변인으로 다중회귀분석을 실시한다. 이를 통해 문항의 정답률에 부적 영향을 미치는 인지요소 를 탐색하여 첨삭함으로써 타당화를 실시한다. 또한 Q행렬에서 인지요소들 간 서로 유사한 것들이 있는지를 살펴보고자 자카드 계수를 산출한다. 자카드 계수는 문항의 실제 정답률이 필요하지 않기 때문에 여기에서는 상기(上記)한대로 문항 정답률과 학습자들의 문항 반응 자료가 필요한 다중회귀분석을 통한 타당화는 생략하고, 초안으로 작성된 Q행렬을 예시 값으로 자카드 계수를 작성해보고자 한다. 자카드 계수는 유사성 계수(similarity coefficient)로 총량과 공동으로 사용된 양의 비율로 산출된다. 자카드 계수의 산출식은 아래와 같다.

 

 

이 계수 산출식을 토대로 네 가지 인지요소의 자카드 계수 산출 실례를 들어보고자 한다. 아래 표는 Q행렬 초안의 1번 문항부터 4번 문항까지, 1번 인지요소부터 4번 인지요소까지를 절취(截取) 해 예시로 제시한 것이다.

 

<표 8> 자카드 계수 산출 예시를 위해 절취한 Q행렬 초안

28) 김희경 외(2012), 69면.

예컨대, 인지요소 1번과 4번과의 자카드 계수를 계산하는 경우, 분모는 두 인지요소가 사용된 문항의 합집합 개수이므로 ∣A∪B∣= 4이고, 분자는 두 인지요소가 함께 사용된 문항 개수이므로 ∣A∩B∣= 2이다. 따라서 1번 인지요소와 4번 인지요소의 자카드 계수값은 J(C1, C4)=0.529)이 다. 한편, 인지요소 1번과 3번의 자카드 계수는 이와 같은 계산 방법으로 ∣A∪ B∣= 4, ∣A∩ B∣= 1이므로 1번 인지요소와 3번 인지요소의 자카드 계수 값은 J(C1,C3)=0.25이다. 이런 방법으로 2016학년도 수능 한문(Ⅰ) 문항의 Q행렬 초안의 자카드 계수를 산출하면 아래와 같다.

 

<표 9> 2016학년도 수능 한문(Ⅰ) 문항 Q행렬 초안 자카드 계수 산출 결과

 

<표 9>에 나타난 자카드 계수는 2016학년도 수능 한문(Ⅰ) Q행렬 초안에 나타난 13개 인지요소 사이의 유사성을 나타낸다. 상용(常用)하는 기준에 따라 ‘자카드 계수 >.500’이면 유사성이 있다고 판단할 수 있다.30) 이 계수를 기준으로 판단할 때, .500 이상인 자카드 계수는 2016학년도 수능 한문(Ⅰ) Q행렬 초안에 없기 때문에 인지요소 간 큰 유사성은 발견되지 않는다고 결론지을 수 있다. 다만, 인지요소 7번(문장 구조 및 형식 파악)과 인지요소 10번(표현 방식 및 내용 전개 방식 파악) 간 자카드 계수가 .333으로 가장 높게 산출되었는데, 이는 인지요소 7번과 10번이 관련된 문항 중  에 해당하는 문항에서 두 인지요소가 함께 사용됨을 말한다. 그렇기 때문에 한 가지 인지요소를 삭제하거나 인지요소를 수정하게 되는데, 실제 여기서는 7번 인지요소가 3회밖에 쓰이지 않았음에도 불구하고 10번 인지요소와 관계된 문항이 한 개가 중복되어 계수가 상대적으로 높게 측정되었다. 이 같은 경우에는 계수 산출의 기반이 되는 원 자료를 확인하면서 타당성 여부를 신중하게 판단할 필요가 있다.

29) Ci(C: 인지요소, i : 인지요소 번호)
30) Hennig(2004).

(2) 인지진단모형 모수 추정치에 의한 타당화31)

자카드 계수와 다중회귀분석을 이용한 통계적 분석을 실시하여 Q행렬을 수정한 후에는 Fusion 모형 문항모수를 추정하여 다시 한 번 타당성을 검토한다. Fusion 모형에 의해 추정되는 문항모수인 r*ik는 인지요소 k를 숙달하지 못했을 때 문항 i에 정답할 확률에 대한 인지요소 k를 숙달했을 때 문항 i에 정답할 확률의 비율, 즉 Q행렬에 기반한 문항 i의 변별도라고 할 수 있다. 즉, r*ik는 문항 i가 인지요소 k를 숙달했는지 또는 못했는지의 여부를 잘 판별하는지를 나타낸다.

Hartz(2002)와 Roussos et al.(2007)은  r*ik>0.9의 높은 수치를 보이는 경우, 해당 문항의 정답을 맞히는데 인지요소 가 중요하지 않음을 의미한다고 하였다. 요컨대, 문항 i에 연결되어 있는 인지요소 k가 문항 정답여부에 크게 관여하지 않아 변별력이 낮다는 뜻이다. 즉, Q행렬 간소화의 가능성을 제시한다고 할 수 있는데 인지요소 k가 해당 문항의 정답을 맞히는데 꼭 필요한지를 다시 검토하여 Q행렬을 수정할 수 있다.

여기서는 실제 문항에 대한 정답률과 학생 반응 자료를 구하지 못하는 수능 문항을 대상으로 인지요소를 설정하고, Q행렬을 구성하였기 때문에 Q행렬 초안 타당화 작업에 상당한 제약이 존재한다. 따라서 Q행렬 초안만을 통해 타당화를 진행할 수 있는 자카드 계수 산출을 수행하였고, 이외의 타당화 방법은 선행 연구를 요약・정리하여 제시하였을 뿐이다. Q행렬의 명세화와 정교화를 통해 최종본을 마련하지도 못하였다. 그러나 이 장에서 기술한 인지진단모형 적용의 선행 절차인 인지요소 추출과 Q행렬 초안 개발, 자카드 계수 산출을 통한 타당화의 실례 등은 후속 연구와 차후 현장에서의 활용에 유용한 자료로 작용할 것으로 판단한다.

31) 김희경 외(2012), 80~81면.

Ⅳ. 연구의 한계 및 시사점

이 연구의 목적은 첫째, 한문과 평가에 인지진단이론의 적용 필요성을 역설하고, 둘째, 인지요소 추출 및 Q행렬 제작 과정에 대한 참고용 가이드라인으로 인식되고 활용되는 데 있다. 이 연구는 한문 독해 교육이 잘 이루어지기 위해서는 개별 학습자들의 독해 능력을 정확히 확인해야만 독해 위주로 수행될 수밖에 없는 한문교육이 좀 더 잘 이루어질 수 있을 것이라는 문제의식으로부터 출발하였다. 따라서 총체적으로 학습자들의 점수를 파악하는 기존 평가의 틀을 지양하고 개별 학습자의 지식 상태 파악의 중요성을 논하고 있는 인지진단이론의 활용을 역설하고 활용의 예시를 들어 보이고자 하였다.

이러한 인지진단모형을 적용한 분석 결과는 개별 학습자들의 학업 성취 프로파일로 나타난다. 인지요소 숙달 여부는 총점에 근거한 것이 아니라 학생의 문항별 응답과 문항이 요구하는 인지요소 간의 관계를 분석하여 산출되므로 같은 총점을 가진 학생이라도 문항 반응 패턴이 다른 경우 상이한 프로파일을 가지게 된다. 따라서 인지진단모형을 적용한 분석 결과는 총점만을 제공하는 기존의 평가 정보에 비해 학생이 어떠한 지식 또는 기능이 부족한지에 대한 상세한 정보를 분석 및 제공해줄 수 있다. 또한 학습자가 해당 인지요소를 숙달하고 있을 확률(posterior probability of mastery : PPM)에서 인지요소의 숙달/미숙달 여부를 분할하는 기준을 설정하여 2단계 이상의 구체적 분류를 할 수 있다. 이 때에는 학습자들과 교사들이 숙달 수준에 대한 더욱 구체적인 정보를 분석하고 제공받을 수 있다.32)

32) 인지진단모형을 적용한 결과 분석의 예시는 후속 연구에서 제시하고자 한다.

이 진단모형에 주목한 이유는 학습자마다 성취 수준 자체에 큰 차이가 있는 한문과와 같은 경우에 학습자 개개인의 특성 및 차이, 숙달 및 미숙 등에 따라 개별적으로 평가 결과를 분석하거나 보고할 수 있게 된다면 실태 파악을 통해 학습자 수준을 고려하는 교육을 수행할 기반으로 적용될 수 있기 때문이다. 또한 이러한 개별 학습자에 대한 정보는 향후 학습자의 한문 능력 수준과 한문 자료 수준을 연구하는 데 기초적인 자료로 활용될 가능성이 높다.

이러한 목적에도 불구하고 몇 가지 제한점은 상존(尙存)한다. 첫째, 이미 출제된 2016학년도 수능 한문(Ⅰ) 문항을 대상으로 인지요소를 ‘추측’하여 ‘추출’해 내기 때문에 애초에 인지진단의 목적으로 설계되지 않은 기존의 평가도구에서 얻은 자료가 적확한 인지요소를 제공할 수 있느냐의 문제, 둘째, 인지진단모형은 교과 내 인지요소 분류와 위계가 비교적 명확한 수학, 과학과 같은 교과에 적용되어 왔기 때문에 한문교과의 특성에 맞는 인지요소의 추출이 필요하지만, 언어교과라 는 성격 상 수학, 과학교과와는 다르게 인지요소들 간 학습 위계나 계열이 선형적(linear)이지 않고 비선형적이어서 인지요소들 간의 중복이나 추출한 인지요소들이 문항들을 모두 포함하지 못하는 등의 문제가 잔존(殘存)할 수 있다는 문제, 셋째, 한문과 교육과정에서 규정한 교육목표나 교육내용을 인지요소로 정의하고 추출해낼 수 있는지, 그렇지 않으면 독해지식, 문법지식과 같은 ‘지식’으로써 추출해내서 분석할 수밖에 없는지에 대한 문제에도 논의가 필요하다.

특히 이 연구에서 2016학년도 수능 한문(Ⅰ) 문항을 대상으로 추출한 인지요소의 내용과 위계는 수능 문항에 한해 성취기준을 중심으로 추출한 것이기 때문에 한문과에서 추구하는 학습 내용 전체를 포괄하여 드러내주지 못함을 연구의 주요한 한계로 밝히고, 후속 연구를 위한 자료 또는 지침으로 작용할 수 있음을 의의로 삼고자 한다.

 

 

 

 

 

 

 

 

 

 

Figure

Table

Reference

  1. 교육부(2015), ≪한문과 교육과정≫ 교육부 고시 제2015-74호 [별책 17].
  2. 권효진, 김성훈(2010), <수학과 성취도 검사 결과의 자기평가를 통한 오답원인 유형화>, ≪교육평가연구≫ 제23권 제4호, 843-868.
  3. 길호현(2016), <인지적 요소가 읽기 문항의 난이도에 미치는 영향 연구 –국가수준 학업성취도 평가를 중심으로->, 한양대 학교 대학원 박사학위 논문.
  4. 김경리(2013), <인지진단모형을 활용한 맞춤형 학습경로 분석>, ≪교육평가연구≫ 제26권 제3호, 597-621.
  5. 김명화(1998), <인지진단측정의 교육적 효과성 연구>, ≪교육문제연구≫ 제10집, 201-227.
  6. 김명화(2012), <기초학력 진단평가 결과보고에 인지진단 모델 적용 가능성 탐색>, ≪한국교육학연구≫ 제18권 제3호, 5-24.
  7. 김선희, 김수진, 송미영(2008), <수학 평가 결과의 분석을 위한 인지 진단 이론의 활용>, ≪학교수학≫ 제10권 제2호, 259-277.
  8. 김성훈 외(2009), <Ⅳ. 대규모 학업 성취도 평가 자료를 활용한 인지상태 진단>, ≪대규모 학업성취도 평가 자료의 활용≫, 한국교육과정평가원 연구보고 RRE 2009-2, 85-120.
  9. 김성훈(1993), <새로운 교육평가를 위한 인지심리학적 교육측정의 활용 가능성 탐색>, ≪한국교육≫ 제20권, 131-154.
  10. 김수진, 송미영, 김선희(2008), , ≪교육평가연구≫ 제21권 제2호, 115-139.
  11. 김왕규(2003), <한문교육학의 학문적 정립을 위한 序說 -한문교육학 연구의 동향과 과제->, ≪대동한문학≫ 제19집, 215-256.
  12. 김왕규, 김경익(2009), ≪중학교 재량활동 선택 과목 ‘한문’ 이수 정도에 따른 고등학교 학생들의 한문 학력차 해소 방안≫, 2007년도 한국학술진흥재단 기초연구지원 인문사회분야 결과보고서(KRF-2007-327-A00513).
  13. 김왕규, 김경익(2009a), <중학교 재량활동 선택과목 "한문" 이수 정도에 따른 고등학교 학생들의 한문 학력차 해소 방안 -한문 학력차 해소를 위한 설문 조사와 현장 사례를 중심으로->, ≪한자한문교육≫ 제22집, 227-286.
  14. 김왕규, 김경익(2009b), <중학교 재량활동 선택 과목 "한문" 이수 실태와 고등학교 학생들의 한문 학력차 검사>, ≪한문 교육연구≫ 제32집, 271-338.
  15. 김왕규, 박상우(2014), <한문텍스트 이독성 요인 분석을 통한 이독성 공식 개발 연구>, ≪한문교육연구≫ 제43집, 259-322.
  16. 김지영, 김수진(2009), <인지진단이론을 활용한 중학교 과학 시험 결과의 분석>, ≪한국과학교육학회지≫ 29권 8호, 812-823.
  17. 김희경 외(2012), ≪인지진단모형을 적용한 학업성취 프로파일 분석 및 결과 보고 방안≫, 한국교육과정평가원 연구보고 RRE 2012-7.
  18. 김희경 외(2013), ≪기초학력 이하 학생의 맞춤형 학습 지도를 위한 인지진단 프로파일 분석≫, 한국교육과정평가원 연구보고 RRE 2013-10.
  19. 김희경, 김부미(2013), <인지진단모형을 활용한 수학 학업성취 결과 분석>, ≪학교수학≫ 제15권 2호, 289-314. 33) 이 원고에 직접적인 인용이 되어있지 않더라도 관련 문헌들을 함께 기입하였다. 한문과 평가 연구에서 인지진단이론 또 는 모형에 관한 연구가 전무하기 때문에 여러 동학들과 함께 후속 연구를 위한 정보를 함께 공유하고자 한다.
  20. 박도순(2010), ≪교육평가 –이해와 적용-≫, 교육과학사.
  21. 박상우(2008), <제2언어로서 한문 읽기 교육>, 한국교원대학교 대학원 석사학위논문.
  22. 박상태, 변두원, 육근철, 정점순(2005), <과학영재 선발시험에서 지식상태 분석법을 통한 새로운 평가 방법 모색>, ≪영재 교육연구≫ 제15호, 37-48.
  23. 백광호(2007), <사고구술을 통한 한문과 독해 양상 연구>, ≪한자한문교육≫ 제18권, 1-41.
  24. 백광호(2009), <대학생의 한문 독해 학습 경험에 관한 연구>, ≪한자한문연구≫ 제5호, 109-136.
  25. 이경은(2011), <초등학교 6학년의 수학 성취 분석을 위한 인지진단모형의 적용>, 이화여자대학교 대학원 석사학위논문.
  26. 이영선, 박윤수, 송미영, 김성은, 이영주, 인보란(2012), <인지진단모형을 적용한 학업성취도 평가 결과 프로파일 보고 방안 탐색>, ≪교육평가연구≫ 제25권 제3호, 411-433.
  27. 이재호(2016), <인지진단모형을 활용한 학습장애 위험아동의 읽기 이해 인지프로파일 분석>, 서울대학교 대학원 박사학 위논문.
  28. 이현숙, 고호경(2014), <인지진단모형을 적용한 TIMSS 8학년 수학 기하 영역의 성차 분석>, ≪학교수학≫ 제16권 제2호, 387-407.
  29. 이형재, 하지선, 박상태(2011), <평가문항을 통한 중학교 과학영재 학생들의 빛 개념 지식상태 분석>, ≪영재교육연구≫ 제21권 제4호, 861-884.
  30. 인보란(2013), <인지진단모형에 의한 성별에 따른 수학 성취 특성 차이 분석>, 이화여자대학교 대학원 석사학위논문.
  31. 천경록(2006), <독서능력 표준화 검사 도구의 연구 개발>, ≪독서연구≫ 제15호, 407-436.
  32. 허철(2009), <한문교과 인지영역 요소의 서술방법과 내용에 대한 고찰 -한자(漢字) 영역을 중심으로>, ≪동방한문학≫ 제40권, 221-254.
  33. Heidi Anne E. Mesmer(2008). Tools for Matching Readers to Texts. New York : A Division of Guilford Publications.
  34. Jeanne S. Chall, Glenda L. Bissex, Sue S. Conard, & Susan H. Harris-Sharples(1996). Qualitative Assessment of Text Difficulty: A Practical Guide for Teachers and Writers. Cambridge, Massachusetts: Brookline Books.