성격 검사는 어떻게 만들어질까요?

온라인에서 성격 검사를 몇 번이라도 해봤다면, 한 번쯤은 그 이면에서 무슨 일이 일어나는지 궁금했을 것입니다. 누가 이런 검사를 만들까요? 어떤 자격을 갖춘 사람들일까요? 그리고 이런 검사들은 실제로 얼마나 정확할까요?

성격 검사가 온라인 마케팅부터 유권자 조작에 이르기까지 다양한 분야에서 유용한 도구로 자리 잡으면서, 인터넷에서는 자기 성찰형 퀴즈를 풀며 거의 무한한 시간을 보낼 수 있게 되었습니다. Buzzfeed 퀴즈에 2분을 쓰면 재미있고 공유하기 좋은 정보를 얻을 수 있으리라 기대하지만, 한편으로는 “당신은 어떤 머펫인가요?”와 진로 선택 등에 활용할 수 있는 진지한 평가 사이에는 차이가 있다는 것도 알고 있습니다. 그렇다면 정확히 그 차이는 무엇일까요? 그리고 실제로 정확한 결과를 기대할 수 있는 평가는 어떻게 알아볼 수 있을까요?

정확한 성격 검사를 개발하는 일은 시간도 많이 들고 전문적인 기술도 필요한 과정입니다. 이상적으로는 성격 검사를 만드는 사람들이 해당 주제에 대한 깊은 지식을 갖추고, 평가를 만들고 결과를 분석하는 데 상당한 시간을 투자해야 합니다. 온라인에서 찾을 수 있는 대부분의 퀴즈는 자신이 무엇을 하는지 어렴풋이 짐작만 하는 사람이 몇 시간 만에 만든 것입니다. 반면 실제 예측 가치가 있는 검사는 상당한 노력과 전문성의 산물입니다.

검사 개발은 복잡하지만 단계별 과정을 따르기도 합니다. 이 과정을 이해하면 지금까지 해온 수많은 성격 검사가 실제로 어떻게 작동하는지, 그리고 그중 어떤 검사를 통해 자신에 대한 정확한 정보를 얻을 수 있는지 이해하는 데 도움이 됩니다.

그러니 준비하세요. 이제 성격 검사가 만들어지는 과정을 자세히 살펴보게 될 것입니다.

무엇을 측정할 것인가?

당연하게 들릴 수 있지만, 성격 평가를 만드는 첫 단계는 실제로 무엇을 평가할지 결정하는 것입니다. 더 구체적으로 말하면, 구성개념이라고 불리는 것, 즉 정의하고 측정할 수 있는 특정 특성이나 현상을 파악하고자 합니다. 구성개념의 예로는 지배성, 불안, 정서성 또는 동기 등을 들 수 있습니다. 

체중이나 혈압처럼 일부 구성개념은 직접 측정할 수 있습니다. 안타깝게도 심리학에서는 일이 그렇게 간단한 경우가 드뭅니다. 성격 특성은 구체적인 방식으로 측정할 수 없으며, 정의하기도 훨씬 어려운 경우가 많습니다. Extraversion 같은 특성을 연구하는 전문가들조차 자신이 연구하는 대상의 정의에 합의하기 어려울 수 있습니다! 완벽하게 명확한 정의를 내리려는 시도는 헛될 수 있지만, 탄탄한 검사 개발 과정은 언제나 평가할 속성을 인간적으로 가능한 한 명확하게 정의하려는 노력에서 시작됩니다.

평가가 기존 성격 이론에 기반한다면 구성개념은 이미 정의되어 있습니다. 예를 들어, Myers and Briggs는 성격을 설명하는 네 가지 핵심 구성개념이 Extraversion/Introversion, Sensing/Intuition, Thinking/Feeling, Judging/Perceiving이라고 이론화했습니다. 따라서 Myers and Briggs의 이론에 기반한 성격 검사를 만들려면, 이를 어떻게 측정할 수 있을지 이해할 수 있도록 이러한 구성개념에 대한 깊은 지식을 쌓아야 합니다.

반면 일부 평가는 사용할 구성개념을 정의하는 확립된 이론 없이 처음부터 만들어집니다. 예를 들어, 기업은 직원의 성공을 예측하는 평가를 개발하고 싶을 수 있습니다. 동기, 협력성, 지능, 창의성과 같은 개인적 특성이 업무상 성공에 모두 중요하다고 생각할 수 있습니다. 이러한 각각의 개념은 평가 자체를 만드는 일을 생각하기도 전에, 평가할 별개의 구성개념으로 충분히 구체화하고 정의해야 합니다.

어떻게 측정할 것인가?

다음 단계는 평가가 어떤 형태를 띨지 결정하는 것입니다. 일부 성격 평가는 객관식 문항을 사용합니다. 다른 평가는 응시자에게 여러 진술에 대한 동의 정도를 점수 척도로 평가하도록 합니다. 또 다른 평가는 선택지 중 좋아하는 그림을 고르게 하거나, 자신에게 얼마나 잘 적용되는지에 따라 단어 또는 진술을 순서대로 배열하게 하는 등 더욱 창의적인 방식을 사용합니다.

검사 문항의 형식이 무엇이든, 과정은 가능한 문항의 일종의 목록을 만드는 데서 시작됩니다. 보통 검사 개발자는 구성개념과 관련될 문항을 만드는 데 기존 연구를 활용합니다. 예를 들어 Extraversion은 사람들과 상호작용할 때의 에너지 수준과 관련이 있다는 것을 알고 있으므로, 응답자에게 “나는 집단으로 어울릴 때 활력을 느낀다”라는 진술에 대한 동의 수준을 평가하게 하는 문항을 만들 수 있습니다.

좋은 검사 문항을 작성하는 일은 대단히 어렵고, 만들어진 문항 중 통계 검증을 통과하는 것은 대개 10~20%에 불과합니다. 따라서 초기 개발 단계에서는 최종 평가에 포함할 것으로 예상하는 문항보다 훨씬 많은 문항을 만듭니다. 

누가 응시할 것인가?

일부 성격 평가는 학교의 학생이나 회사의 직원처럼 특정 집단을 위해 만들어집니다. 다른 평가는 일반 대중이 사용할 수 있도록 개발됩니다. 대상 독자가 누구이든, 이제 문항을 갖추었으니 의도한 집단을 대상으로 시험 운영을 할 차례입니다. 이 단계에서 검사 개발자는 자신이 만든 문항에 응답할 사람을 가능한 한 많이 모집합니다. 수집할 수 있는 데이터가 많을수록 좋습니다.

얼마나 잘 작동하는가?

무엇을 측정할지 결정했습니다. 문항도 작성했습니다. 그리고 자원자들에게 그 문항에 응답해 달라고 요청했습니다. 이제 평가가 실제로 잘 작동하는지 확인할 차례입니다.

바로 이 단계가 전문가와 아마추어를 구분합니다. 심리학에 관심이 있는 사람이라면 누구나 성격 퀴즈 아이디어를 떠올릴 수 있습니다. 몇 가지 검사 문항도 작성할 수 있을 것입니다. 기술적 능력이 있다면 다른 사람들이 풀 수 있도록 그 퀴즈를 인터넷에 올릴 수도 있습니다.

하지만 그 검사가 측정해야 할 것을 측정할까요? 아마 그렇지 않을 것입니다. 전문 검사 개발자조차 제대로 작동하는 평가를 단번에 만들어내는 경우는 드뭅니다. 차이는 전문가들이 검사가 실제로 의미 있는 결과를 낼 때까지 분석하고 개선하는 방법을 알고 있다는 데 있습니다.

검사 개발에는 두 가지 핵심 개념이 있습니다. 바로 신뢰도와 타당도입니다. 실제 가치를 지니려면 평가는 두 영역 모두에서 검증되고 입증되어야 합니다.

신뢰할 수 있는 평가는 일관된 결과를 산출합니다. 어떤 사람이 신뢰할 수 있는 성격 평가를 1월에 받고 7월에 다시 받는다면, 점수는 대략 비슷해야 합니다.

타당한 평가는 의도한 구성개념을 측정합니다. 존경받는 CEO가 자신의 리더십 능력을 평가하는 검사를 받는다면, 높은 점수를 받을 것이라고 예상할 수 있습니다. 점수가 낮게 나온다면 실제 관찰과 일치하지 않으므로 그 검사의 타당도에 의문을 제기하게 될 것입니다.

신뢰도와 타당도를 이해하기 위해, 새 체중계를 사서 직접 5번 연속 몸무게를 재보기로 했다고 상상해 보세요. 신뢰할 수 있다면 매번 같은 체중 수치를 보여줄 것입니다. 타당하다면 실제 체중에 가까운 수치를 보여줄 것입니다. 타당하지만 신뢰할 수 없는 체중계는 실제 체중에 가까운 수치를 보여주지만 매번 다른 수치를 나타냅니다. 신뢰할 수 있지만 타당하지 않은 체중계는 항상 같은 수치를 보여주지만, 언제나 틀린 수치일 것입니다.

성격 검사에서 이러한 요인을 어떻게 판단할까요? 다소 지루할 수 있는 간단한 답은, 표본 집단을 대상으로 평가를 시험해 본 뒤 수집한 데이터에 적용하는 여러 통계 검사가 있다는 것입니다. 

상관관계는 두 요인이 함께 나타나는 경향이 있는지를 나타내는 척도입니다. 예를 들어 키는 체중과 상관관계가 있는데, 키가 큰 사람은 보통 체중도 더 많이 나가기 때문입니다. 상관관계 척도는 검사 개발에서 신뢰도와 타당도를 모두 검증하는 데 여러 방식으로 사용됩니다. 예를 들어 소득 잠재력 검사 점수가 실제 소득과 상관관계가 있는 것으로 나타난다면, 이는 검사가 타당하다는 것을 의미합니다. 외향성 검사를 만든다면, 점수가 그 사람이 가진 친구 수와 상관관계가 있는지 확인할 수 있습니다.

검사-재검사 상관관계는 한 사람이 서로 다른 두 시점에 같은 평가를 받았을 때 두 검사 점수가 얼마나 잘 상관되는지를 나타내는 척도입니다. 높은 검사-재검사 상관관계는 좋은 신뢰도를 의미합니다.

Cronbach’s alpha는 개념적으로 관련되어야 하는 문항들이 실제 표본 데이터에서도 상관관계를 보이는지 살펴보는 신뢰도 검사입니다. 알파를 계산하는 방법은 복잡하지만 해석은 간단합니다. 알파 점수는 0에서 1 사이이며, 점수가 높을수록 좋습니다. 대부분의 검사 개발자는 알파 값이 .8 이상이면 만족합니다.

요인 분석은 검사 문항이 개념적으로 어떻게 구성되어 있는지 파악하기 위한 복잡한 분석 방법입니다. 요인 분석을 이해하려면, 성격 검사 문항 100개를 완전히 무작위로 만들었다고 상상해 보세요. 몇 개의 구성개념을 검사하는지, 그 구성개념이 무엇인지 전혀 알 수 없습니다. 단지 사람들이 답하면 흥미로울 것 같은 질문 몇 가지를 작성했을 뿐입니다. 하지만 사람들이 답한 뒤에는 평가가 무엇을 측정하는지 궁금해지기 시작합니다.

요인 분석은 작성한 모든 문항이 개념적으로 어떻게 묶일 수 있는지 보여줍니다. 평가에 몇 개의 요인이 있는지, 즉 측정할 가능성이 있는 구성개념이 몇 개인지를 파악합니다. 또한 어떤 문항이 각 요인과 상관관계가 있는지도 확인합니다. 따라서 요인 분석은 다음과 같은 문항들을 하나의 집단으로 묶을 수 있습니다.

• 나는 도움이 필요한 사람에게 돈을 기부한다
• 나는 자선활동에 자원봉사한다
• 나는 이웃을 돕고 싶어 한다

이를 보면 평가가 이타성과 관련된 구성개념을 측정하며, 이 세 문항이 이타성 척도의 잠재적인 출발점이 될 수 있다고 논리적으로 결론 내릴 수 있습니다.

실제 검사 개발에서 요인 분석은 검사가 평가하는 구성개념을 명확히 하거나, 심지어 새로운 구성개념을 발견하는 데도 도움이 될 수 있습니다. 예를 들어 우리는 요인 분석을 사용하여 TypeFinder 성격 평가에서 측정하는 성격 유형의 23가지 하위 측면을 발견하고 정의했습니다.

이 모든 방법에는 전문 지식과 고급 소프트웨어, 그리고 시험하고 수정한 뒤 다시 시험할 충분한 시간이 필요합니다. 대부분의 검사 개발자는 문항을 만들고, 표본 집단에 실시하고, 통계 검사를 수행한 뒤, 그 결과에 따라 수정하는 과정을 수개월에 걸쳐 반복한 후에야 타당성과 신뢰도가 입증된 평가를 완성합니다. 가볍게 또는 빠르게 할 수 있는 과정이 아닙니다. 좋은 성격 평가를 찾기 어려운 이유도 바로 여기에 있습니다.

그러니 다음에 성격 퀴즈를 풀다가 “그 결과가 대체 무슨 뜻이지?”라고 궁금해진다면, 이제 알게 될 것입니다. 아마 아무 의미도 없을 가능성이 큽니다. 하지만 파리로 이사하라거나, 진정한 사랑과 결혼하라거나, 유명한 록 스타가 되라고 말하는 퀴즈를 풀었다면, 뭐, 우리가 말리지는 않겠습니다. 때로 성격 검사가 할 수 있는 가장 좋은 일은 우리가 이미 알고 있는 것을 알려주는 것이니까요.