회사에서 일 잘하는 사람을 뽑고, 역량 및 성과에 기반한 승진/보상 제도를 운영하기 위해서는 직무수행과 관련된 준거 자료가 필요합니다. 특히 최근에는 데이터 기반의 인사관리(HR Analytics)가 중시되고 있는데요. 의미 있는 분석을 위해 좋은 준거 자료를 확보하는 것이 중요합니다.

​

이 글에서는 여러 준거 자료 중 ‘타인 평가’로 수집하는 데이터에 대해 다루어 보겠습니다.

[관련 글] HR 인사 데이터를 어떻게 준거 자료로 활용할 수 있나요?

타인 평가는 인사관리 목적으로 널리 활용되면서도 타당성에 대해 종종 비판을 받고 있습니다. 평가자의 주관적 판단을 거치고 응답하는 과정에서 편향이 발생할 가능성이 높기 때문입니다. 산출물 데이터나 HR 인사 데이터가 보다 객관적이지만 이것으로는 개인의 직무 수행을 충분히 담아내기 어려운 면이 있습니다. 

​

선발도구의 타당도를 검증할 때도 기존에 보유하고 있는 인사 평가 자료는 승진, 보상 등 다른 변수들의 영향을 많이 받는 경향이 있어 연구 목적으로 타인 평가를 다시 실시하는 경우가 많습니다. 뾰족한 대안이 없고 설문 등으로 쉽게 수집할 수 있기 때문에 타인 평가를 많이 사용하면서도, 타당성에 대한 의구심이 수시로 제기되는 것이 현실입니다.

그럼 타인 평가로 타당한 준거 자료를 얻으려면 어떻게 해야 할까요? 먼저 ‘누가 평가하는가?’부터 생각해 볼 수 있습니다. 조직 구성원의 역량과 성과를 타인 평가로 판단하려면 당연히 피평가자의 직무 수행에 대해 잘 아는 사람이 평가해야 합니다. 대개는 직속 상사가 평가자 역할을 하며, 팀제로 운영하는 조직에서는 팀장이 평가를 하기도 합니다. 

​

요즘은 계층적인 구조를 탈피해 수평적 조직으로 운영하는 회사가 많아져 상사의 개념이 불분명한 경우도 있고 360도 다면평가 방식으로 다수의 평가를 받게 할 수도 있지만, 어느 경우이든 수개월 이상 함께 일하면서 피평가자의 직무 수행을 많이 관찰하고 경험한 사람이 평가해야 함은 달라지지 않습니다.

​

또한 후광효과, 관대화/엄격화/중심화 경향 등 평가자의 평가 경향 때문에 응답 편향이 생기고 상관관계가 축소될 수 있습니다. 이를 통제하기 위해 평가자별로 평균, 표준편차로 평가점수를 표준화하기도 하지만, 평가자별 피평가자의 수가 적으면 적용하기 어렵고 모든 평가 항목에 거의 같은 점수를 줄 경우 표준화를 해도 의미 없는 데이터가 될 수 있습니다. 

​

성의 있는 응답을 얻기 위해서는 표준화된 지침에 따라 평가자를 충분히 교육하고 적절한 가이드를 제시해야 하며, 사후 데이터 분석을 통해 결과의 신뢰도가 낮은 평가자의 점수는 분석에서 제외하고 향후 평가에도 배제할 수 있습니다.

다음으로 ‘어떤 척도로 어떤 특성을 평가하는가?’를 중요하게 검토해 보아야 합니다. 막연히 일반적으로 좋아 보이기 쉬운 특성을 평가 항목으로 정하면 성과와는 별 관련이 없는 평가가 될 수 있습니다. 직무 분석이나 역량 모델링을 통해 성과와 유관한 행동 특성들을 평가 항목에 반영하는 것이 좋습니다.

​

한편, 척도 구성 시 성과를 여러 차원으로 나눠 구체적이고 좁은 범위로 한정할 경우에는 부분적인 측정이 되기 때문에 상관이 낮게 나올 수 있습니다. 이런 경우 합산 점수를 준거로 사용하는 것이 나을 수 있습니다.

Spencer 역량사전과 같이 ‘행위평정척도법’이라 불리는 BARS(Behaviorally Anchored Rating Scales) 방식으로 각 점수마다 구체적으로 어느 정도 수준의 행동인지를 제시하면 절대평가에 가깝게 데이터를 얻을 수 있는 장점이 있습니다. 그러나 BARS 방식은 개발 시간과 비용 부담으로 현업에서 많이 활용되지는 않고 있습니다. 이 정도로 구체화된 행동으로 각각의 수준을 기술하지는 못해도, 평가자의 주관적인 해석에 따라 점수의 의미가 제각각이 되지 않도록 최대한 객관화된 설명을 달아 척도를 구성할 필요가 있습니다.

지금까지 타인 평가에 의한 준거 자료 수집 시 고려해야 할 사항들을 살펴봤습니다. 타인 평가는 평가하는 주체와 평가하는 대상 모두 사람이기 때문에 여러 모로 복합적인 면이 있습니다. 평가하기에 충분한 증거를 갖고 있는 평가자를 선정하되, 개인적인 관계, 인상, 평판 등이 평가에 개입되지 않도록 충분한 평가자 교육과 데이터 선별이 필요하겠습니다. 아울러 성과와 유관하면서 관찰 가능한 구체적이고 객관적인 행동 수준으로 평가 척도를 구성해야 좀 더 실체(true score)에 가까운 준거 자료를 확보할 수 있겠습니다.

(최종 검토: 천명재 파트너)

이미지 출처: pixabay, Pexels

전체 글은 비에스씨 공식블로그에서 보실 수 있습니다.

https://blog.naver.com/bsc_hr/223078906233