“마케팅이란 무엇인가?” 모 대학 경영학과의 마케팅 수업에서 매 학기 말마다 출제되던 문제입니다. 많이 접하는 형식의 논술 문제인데요, 이번 글에서는 논술형 문제를 어떻게 출제하고 채점하면 좋을지 논술 문제 출제의 노하우를 연구에 기반해서 점검해 보겠습니다.

논술 문제는 평가대상자가 자기 아이디어를 선택, 조직, 종합하고 일관성 있게 표현하는 능력을 측정하는 데 아주 좋은 도구입니다. 논술 문제는 다룰 수 있는 내용 범위가 넓고 새로운 장면에서의 적용력, 창의력, 표현력 등 고등 정신기능을 잘 측정할 수 있는 반면, 출제와 채점에는 상당한 노하우와 전문성을 필요로 합니다.

[관련 글] 채용 과정에서 주목해야 할 성격 요인에는 어떤 것들이 있을까요?

논술 문제는 평가대상자가 자유로이 능력을 구사하게 하는 반응의 무제한성을 특징으로 갖고 있어서 특별한 형식이 따로 있지는 않습니다. 그러나, 그렇다고 해서 논술 문제를 ‘아무렇게나’ 출제해도 된다는 것은 아닙니다. 아래에 나쁜 형식에서 좋은 형식의 순으로 예시를 나열해 보겠습니다. 

(예 1) 근래에 접한 뉴스나 읽은 책 중에서 본인이 선택하여 자유롭게 의견을 기술하시오.

(예 2) 다음 항목 중 하나를 골라 아는 바를 논하시오.

          (a) 4차산업혁명

          (b) 지구온난화

          (c) 기본소득제

          (d) 미중무역분쟁

(예 3) 4차산업혁명에 대해 논하시오.

(예 4) 4차산업혁명의 정의를 약술하고, 그와 관련하여 본인은 어떻게 미래를 준비할 것인지에 대해 설명하시오.

아래로 올수록 어떤 의미에서 좋은 형식인지는 다음에 제시되는 논술형 문제 제작과 운영 원리를 보면 저절로 이해하게 될 것입니다.

(1) 평가대상자 집단의 특성을 고려하라

집단의 특성을 고려하지 않고서는 변별력 있는 좋은 문제를 낼 수 없습니다.

(2) 단편적 지식보다는 고등 정신능력을 평가하도록 하라

논술형은 흔히 말하는 사고력, 추리력, 비판적 사고, 분석력, 적용력, 표현력, 창의력 등을 측정할 수 있는 가장 좋은 방법입니다. 그러므로 “~을 논하시오”, “~에 대해 설명하시오” 하고 키워드만 짧게 기술하지 말고, 충분한 자료를 제시하는 것이 좋습니다.

(3) 구체적인 목적을 평가할 수 있도록 제한을 두고 구조화하라

문제가 요구하는 영역을 규정하고, 제한하며, 이를 잘 구조화할 필요가 있습니다. 가장 구조화되지 않은 방법이 “아는 대로 쓰시오”라고 하는 것이고, “~에 대해 논하시오”라고 하는 게 좀 더 나은 방법입니다. 이처럼 문제의 내용에 구체적으로 제한을 두고 구조화를 하면 평가대상자가 해야 할 과제가 분명해지기 때문에 출제의도를 추측해서 아무렇게나 글을 쓰게 될 위험을 방지할 수 있습니다.

(4) 여러 문제를 주고 선택해서 쓰도록 하지 말라

실제 논술 문제를 보면 특히 평가대상자의 부담을 덜어주려는 의도로 이렇게 하는 경우가 매우 많습니다. 그러나 평가 교과서에서는 그렇게 하지 말라고 합니다. 평가 관점에서 보면 능력의 표본(sample)이 다르기 때문에 답변 결과의 비교가능성(comparability)을 상실하게 된다는 것입니다. 예컨대 운동능력을 평가하면서 마치 수영, 탁구, 피겨 스케이팅 중 아무거나 해보라고 하는 것과 비슷하다고 할까요? 아니면 10미터 달리기, 1,000미터 달리기, 10,000미터 달리기 중에서 자신 있는 거를 해보라고 하는 것과 비슷한 느낌입니다. 게다가, 선택해서 문제를 풀게 했을 경우의 점수와 모두 풀게 했을 경우의 점수의 상관은 매우 낮다는 Meyer의 연구 결과도 있습니다.

(5) 가능하면 채점 기준을 미리 제시하라

채점 기준을 미리 제시하면 평가대상자가 어떻게 반응하는 것이 유리한지 알 수 있어서 보다 정확하고 객관적인 평가가 가능해집니다.

이제 논술 문제 채점에 관해 알아보겠습니다. 채점에는 크게 분석적 방법(analytical method)과 개관적 방법(global method)이 있습니다. 전자는 채점의 기준을 요소로 분석해서 배점하고 그 기준에 의해 채점한 다음 합산하는 방법으로 일반적으로 더 좋은 방법으로 알려져 있습니다. 후자는 답을 한 개의 단위로 보고 전체적 관점에서 채점하는 것으로 답안지를 질적으로 보고 대인 비교를 해서 서열을 정할 때 유효합니다.

논술 채점에서 고려해야 할 사항들로는 다음과 같은 것들이 있습니다.

(1) 채점의 기준을 미리 정해야 한다

채점 요소와 기준, 배점 등을 최대한 객관화해서 누가 채점하든 최대한 같은 결과가 나오도록 해야 합니다. 여러 문항이 있을 경우 되도록이면 같은 배점을 주는 것이 좋지만, 문항에 따라 배점을 달리 하려면 미리 계획을 세워야 하며 특정 문항에 과도하게 비중을 주는 것은 좋지 않습니다.

(2) 모범답안을 만들어 보는 것이 좋다

모범답안을 만들어 보면 어떤 소재가 동원될 수 있는지, 어떻게 조직하는 것이 타당한지, 어떤 결론이 가능한지를 예측해 볼 수 있고 채점 기준의 방향을 시사 받을 수 있습니다. 모범답안이 있으면 정해진 채점 기준을 일관성 있게 지키는 데 도움이 됩니다.

(3) 편견을 피해야 한다

채점에서는 답의 내용만 보도록 노력해야 합니다. 글씨체나 기타 부수적인 요소에 현혹되어서는 안 됩니다. 특히 평가자가 뒤로 갈수록 피곤해져서 대충 평가하는 경우도 있기 때문에, 중간중간 휴식을 취하면서 같은 기준에서 평가하도록 해야 합니다.

(4) 문항 단위로 채점해야 한다

여러 문항을 채점할 경우 평가대상자 단위(subject unit)로 채점하지 말고 문항 단위(item unit)로 채점해야 합니다. 즉 1번 문항에 대해 전체 답안지를 채점하고 나서 2번 문항 채점을 시작하는 것이 좋습니다. 이렇게 해야 일관성 있게 채점할 수 있고, 또 채점의 속도도 빨라집니다.

(5) 읽고 난 후에 채점하지 말고 읽으면서 채점하라

분석적 방법에서는 이렇게 하는 것이 정확하고 속도도 빠르다고 합니다.

(6) 복수의 평가자를 활용하라

혼자 채점하는 것보다 여러 사람의 평가를 종합해서 평균 점수를 내는 것이 개인적 편견이나 주관적 판단을 피하는 좋은 방법입니다. 숙련된 평가자 두세 명이 채점 기준을 조율하면서 평가하면 좋습니다.

Monroe와 Carter는 논술형 문항에서 많이 쓰이는 용어를 조사해서 이렇게 정리한 바 있습니다. 출제에 참고하면 좋겠습니다.

설명하라, 예시하라, 논하라, 요약하라, 비교하라, 개요를 쓰라, 정의를 내려라, 해석하라, 항목을 들어라, 원인과 결과를 들어라, 비판하라, 관련하여 설명하라, 서술하라, 분석하라, 선택하라, 분류하라, 재조직하라, 제시하라

서두에 언급했던 “마케팅이란 무엇인가?” 이 문제는 어떤가요? 평가에 관한 전문적 가이드를 받을 기회가 없어서였는지 각 대학에서 소위 족보로 전해지는 논술형 문제를 보면 구조화되지 않은 문제도 제법 많은 듯합니다. 앞으로 논술 문제를 출제하시는 분들은 이런 원칙 내지 노하우가 있음을 인식하시고 좋은 문제를 출제해서 평가대상자의 능력을 보다 더 정확하게 평가하시면 좋겠습니다.

(최종 검토: 강나현 컨설턴트)

이미지 출처: pixabay

전체 글은 비에스씨 공식블로그에서 보실 수 있습니다.

https://blog.naver.com/bsc_hr/222651048778