Your browser does not support the NLM PubReader view.

Go to this page to see a list of supporting browsers.
Journal of Behavior Analysis and Support
Korean Association for Behavior Analysis

Journal of Behavior Analysis and Support 2024; 11(1):139-157

pISSN: 2383-5435, eISSN: 2733-8495

DOI: https://doi.org/10.22874/kaba.2024.11.1.139

Article

ICF Core-Set Autism Brief 기반 자폐성장애 영유아 언어 행동 평가 도구 개발에 대한 델파이 조사*

신별해1, 최진혁2,*
A Delphi survey on developing verbal behavior assessment tool for autism spectrum children using ICF core set Autism Brief
Byeolhae Shin1, Jinhyeok Choi2,*
1부산대학교 특수교육과 대학원생
2부산대학교 특수교육과, 교수
1Pusan National University, Department of special education
2Pusan National University, Department of special education
*교신저자 : 부산대학교 특수교육과, 교수(drjinhyeokchoi@gmail.com)

ⓒ Copyright 2024, The Daesoon Academy of Sciences. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Mar 30, 2024; Revised: Apr 15, 2024; Accepted: Apr 21, 2024

Published Online: Apr 30, 2024

요약

본 연구는 ICF Core-Set Autism Children Brief에 기반한 자폐성 장애 영유아의 언어 행동 평가 도구 개발과 타당도를 알아보는 목적을 가진다. 이에 본 연구에서는 행동분석 전문가 9인을 대상으로 ICF Core Set-Autism Children Brief 항목의 언어행동 평가 타당성에 대한 델파이 조사를 2차에 걸쳐 실시하였다. 2차에 걸친 델파이 조사 결과, ICF Core-Set Autism Children Brief의 48개의 항목 중 22개의 문항이 최종적으로 적합한 문항으로 도출되었다. 발달 단계 적합도의 경우 미청자 단계는 말하기 이전, 보기가 가장 높은 적합도를 보였으며, 청자 단계와 화자 단계에서는 기억 기능, 지적 기능, 주의 집중하기, 전반적 정신사회적 기능 등의 문항이 높은 일치도를 보이는 문항으로 확인되었다. 이와 같은 연구 결과를 바탕으로 본 연구에서는 자폐성장애 영유아 언어행동 평가 도구가 갖추어야 할 시사점에 대하여 논의하였다.

Abstract

The purpose of this study is to develop a verbal behavior assessment tool for asd children using ICF Core Set-Autism Children Brief and verify the validity. Two rounds of Delphi survey on validity of items from IICF Core Set-Autism Children Brief was undertaken by 9 panels who are professionals in applied behavior analysis. As a result, 22 items were identified to be suitable among 48 items. For developmental level suitability, pre-talking and watching were the most suitable items for pre-listener level and listener level and speaker level were found to share common items such as memory function, intellectual function, pay attention, overall psychosocial functions. We discussed about implications that verbal behavior assessment tool for asd children should consider based on the results.

Keywords: ICF core set; 자폐성장애; 영유아; 언어 행동; 평가
Keywords: ICF core set; autism spectrum disorder; children; verbal behavior; assessment

Ⅰ. 서론

자폐성 장애를 진단하는 주요 준거인 DSM-5에 의하면 자폐성 장애의 주요 증상은 크게 1) 사회적 상호작용 및 의사소통의 결함과 2) 반복적이고 제한적인 패턴의 행동과 관심사 등으로 구분된다(APA, 2013). DSM-5에서 정의하는 자폐성 장애의 사회적 상호작용 및 의사소통의 결함은 일반적인 대화 진행의 어려움부터 비언어적 의사소통 행동의 결함을 포함한다. DSM-5에는 이와 같은 현상이 이른 발달 시기부터 나타나야 한다고 명시되어 있는데 이는 자폐성 장애는 영유아기부터 구어적 및 비구어적 의사소통의 결함을 수반할 수 있는 가능성이 높음을 의미한다고 할 수 있다.

자폐성장애 영유아의 의사소통 특성을 살펴보면, 정상발달 영유아보다 낮은 의사소통 빈도 및 기능을 보이는 것으로 보고된다(박보경, 최예린, 송승하, 2021). 자폐성 장애 아동의 경우 비장애 집단보다 구어적 사용, 발성, 발성과 제스처를 동반한 발성의 사용이 적으며(김지원, 최지은, 이윤경, 2015), 구어적 발화가 가능한 자폐 성향의 아동은 일반 아동보다 표현언어가 의미, 음운, 구문, 화용 측면에서 모두 비교적 낮은 것으로 나타났다(김화수, 민운정, 김지현, 2019). 이 외에도 자폐성 장애 아동은 명사에 비해 동사, 형용사, 부사 등의 수식어를 적게 산출하고 문맥에 따라 달라지는 동사와 형용사의 습득을 어려워한다고 보고된다(신지연, 이윤경, 2008). 즉, 자폐성장애 영유아의 언어 발달은 정상 발달 아동보다 느린 특성을 보이며, 구어적 발화가 가능하더라도 여전히 다양한 언어적 측면에서 결함을 보인다고 할 수 있다. 따라서 자폐성 장애 유아의 언어 중재는 의사소통의 가치를 인식하고 다양한 의사소통 기능을 습득할 수 있도록 개인의 의사소통 특성 및 환경적 맥락을 고려한 중재가 언어발달 초기 단계부터 이루어져야 할 필요가 있다(박다해, 김은경, 2017).

장애 아동을 위한 중재는 장애의 특성 및 개인이 가지는 기능적 수준을 함께 고려할 수 있어야 하며(council for exceptional children, 2012) 과학적으로 효과성이 입증된 증거기반 중재(Evidence-based Practice)를 적용하는 것이 중요하다고 알려진다(Jones, 2009; Cook & Odom, 2013). 증거기반 중재 중 하나인 응용행동분석(Applied Behavior Analysis)에 기반한 조기 중재는 다수의 연구에서 자폐성장애 아동에게 효과적이라고 보고된다(Lovaas, 1987; Peters-Scheffer, Didden, Korzilius, & Sturmey, 2011; Roane, Fisher, & James, 2018). 특히, 언어 중재에 있어 응용행동분석은 기존의 언어학적 관점과는 달리 기능적인 관점을 가지는데 Skinner(1957)는 기능적 관점에 따라 언어를 맨드(mand), 택트(tact), 인트라버벌(intraverbal), 텍스츄얼(textual), 청중관계(Audience relations) 6가지로 구분하며 언어 행동(verbal behavior)이란 개념을 제시하였다. 언어행동분석(Verbal Behavior Analysis)은 기능적 언어 기술 중재에 초점을 두는 응용행동분석의 한 분야로, 언어를 기능적으로 분류하는 것은 언어발달 과정에서 필요한 능력을 파악하고 기능적인 언어능력군 형성을 위한 환경적 중재의 기반이라고 할 수 있다(Greer & Ross, 2008).

아동은 생후 첫 12개월에는 첫 단어를 발화하고 17, 18개월경에는 두 단어의 조합이 가능하며, 생후 2세경에는 기초적인 문장을 사용하기 시작하고(이귀옥, 2008), 만 4경에는 모국어의 기본적인 언어 구조를 숙달하게 된다(Bates 외, 1992). Greer와 Ross(2008)는 언어 발달을 응용행동분석의 언어에 대한 기능적 접근에 기반하여 언어 발달 과정을 단계별로 제시하였는데 이는 1) 미청자 단계, 2) 청자 단계, 3) 화자 단계, 4) 타인과의 화자-청자 교환, 5) 청자로서의 화자단계, 6)독자 단계, 7) 필자단계, 8) 독자로서의 필자, 9) 문제 해결을 위한 언어중재 9개의 단계로 분류된다. 이와 같은 언어 발달 단계는 아동의 독립적 기능과 관련이 있으며, 이를 파악하는 것은 아동의 독립 정도의 척도, 사회화 척도, 학습 수준 파악, 학습과 관련된 기능적 접근을 용이하게 할 수 있다.

자폐성 장애는 발달기부터 증상이 나타나는 특성이 있어 자폐성 장애는 조기 집중 행동 중재(Early Intensive Behavioral Intervention)의 중요성이 강조된다. 자폐성 장애 조기 집중 행동 중재는 아동 개인적 측면에서는 치료 예후에 효과적이며(Lovaas, 1987; 구본경, 정경미, 2018), 사회적 측면에서는 사회적 비용의 부담을 줄일 수 있는 이점이 있다(이경숙, 윤현숙, 정희승, 유희정, 2015; Motiwala, Gupta, Lilly, Ungar, & Coyte, 2006). 자폐성 장애 유아에게 적절한 조기 중재를 제공하기 위해서 조기에 자폐성 장애 유아를 선별하는 것의 중요성이 강조되며 조기 선별 및 진단과 중재를 위한 도구와 커리큘럼이 다수 개발되었다.

현재 국내에서 자폐 영유아 선별 및 진단에 사용되는 주된 도구로는 CARS, M-CHAT, ASSQ, SCQ, ADOS-2 등이 있다(이경숙 외, 2015). 그러나 현재 사용되는 선별 및 진단 도구들은 자폐성 장애의 외현적 특징이나 장애로 인한 결함에 초점을 맞춘 제한점을 가지며, 이와 같이 외현적 특성이나 결함에 초점을 맞춘 도구들은 영유아의 현재 언어 행동 수준 및 기능을 도출하기 어려운 한계가 있을 수 있다. 또한 SCQ의 경우 사회적 의사소통을 기반으로 자폐성 장애 위험도를 예측할 수는 있지만, 아동의 발달 수준을 상세히 제시할 수 없어 조기 중재와의 연계가 어려운 제한점이 있다.

VB-MAPP, ABLLS-R, C-PIRK 등은 자폐성장애, 발달장애 아동의 교수 학습을 위하여 스키너의 언어행동에 기반하여 개발된 커리큘럼 가이드 또는 커리큘럼의 목적을 가지는데, 모두 준거 기반의 도구들로 표준화되지 않았으며, 외국을 기반으로 제작된 도구들이라 할 수 있다. 국외에서는 기존 평가 도구를 통한 언어 기능 수준 도출의 한계를 인식하여 ICF를 기반으로 미취학 자폐성 장애 아동의 사회적 의사소통 기능 분류 시스템(이하 ACSF: SC) 개발을 시도하였다(Rezze, Rosenbaum, Zwaigenbaum, Hidecker, Stratford, Cousins 등, 2016). 그러나 ACSF:SC는 사회적 의사소통 기능을 모두 다섯 가지로 분류하여 제시하며 평가 대상자의 사회적 의사소통의 전반적인 수준만을 제시하고 있어 중재를 위한 목표를 제시하지 못하는 제한이 있다.

ICF는 인간의 기능을 다각적인 측면에서 제안하는 이론적-실천적 기반 모델로, 장애인의 약점보다는 강점을 중시하는 생활 기능 중심 평가라고 할 수 있다(小林 辛子, 2010, 최진혁 외, 2018에서 재인용). WHO에서는 ICF의 하위 항목이 광범위한 점을 고려하여 이를 다시 핵심 문항으로 구성되는 ICF Core-Set을 개발하였다. ICF Core Set(2012)은 자폐성 장애의 생활 기능 중심의 평가를 연령별 구분을 포함하여 Autism Comprehensive, Autism Common Brief, Autism Children Brief, Autism Children/Youth Brief(6-16세), Autism Adults Brief 다섯가지 영역으로 구분하고 있다. 따라서 ICF Core-Set의 활용은 다양한 영역에서 발달상의 지연을 보이는 자폐성장애인을 위한 기능 중심의 평가를 제공해 줄 수 있을 것이다. 특히 ICF Core-Set Autism Children Brief는 0세부터 5세까지의 미취학 아동들을 대상으로 하는 목적을 가짐에 따라 Greer와 Ross(2008)의 언어 행동 분류와 ICF Core-Set Autism Children Brief를 접목한다면 기능 중심의 평가를 통해 자폐성 장애 영유아의 조기 중재에 보다 명확한 방향성을 제시해 줄 수 있을 것이다. 이에 본 연구는 ICF Core-Set Autism Children Brief를 기반으로 자폐성 장애 영유아의 기능적 언어 행동 수준 평가에 대한 타당성을 알아보고자 한다.

Ⅱ. 연구방법

본 연구는 자폐성 장애 영유아의 기능적 언어 행동 수준을 분류하기 위한 평가 도구 개발을 위한 타당화 기초 연구의 목적을 가진다. 따라서 본 연구에서는 전문가 집단 델파이 조사를 통하여 ICF Core-Set Autism Children Brief의 자폐성 장애 영유아의 기능적 언어 행동 분류에 대한 타당성 및 문항을 도출하고자 하였다. 델파이조사는 전문가들을 대상으로 특정 연구 주제를 중심으로 합리적 수준의 합의에 도달할 때까지 조사를 반복적으로 실시 및 분석하는 방법으로, 특정 주제에 대한 전문가 의견 수렴에 효과적이다(노승룡, 2006). 이에 따른 연구의 절차와 구성은 다음과 같다.

1. 연구 대상

본 연구는 ICF Core-Set Autism Children Brief 항목의 언어행동 평가에 대한 타당성을 알아보기 위하여 자폐성장애 아동 및 학생을 교육한 경험이 있는 전문가를 선정하였다. 전문가 선정 기준은 첫째, 국제공인행동분석가자격증(BCBA-D, BCBA, QBA)을 소지하고 있거나, 둘째, ABA 전문 기관에서 응용행동분석(ABA)에 기반하여 자폐성장애 영유아를 대상으로 언어 행동을 중재해 본 경험이 있거나, 셋째, 자폐성장애 아동 교육 경험 5년 이상으로, 총 9인의 패널이 구성되었다. 패널은 모두 행동분석전문가 자격을 소지하고 있었으며, 현재 자폐성장애 유아 또는 학생을 중재하거나 자폐성장애 관련 연구를 진행 중인 전문가들로, 경력은 2년~10년의 범위로 확인되었다. 델파이 조사에 참여한 대상자의 정보는 다음 <표 1>과 같다.

표 1. 조사대상자
응답자 소속 직위 자격정보 학력 경력 중재 경험
1 치료실 치료사 국제공인행동분석가 석사 2년 자폐성장애 영유아 조기 발달 중재
2 치료실 치료사 국제공인행동분석가 석사 2년 자폐성장애 영유아 조기 발달 중재
3 치료실 치료사 국제공인행동분석가 석사 2년 자폐성장애 영유아 조기 발달 중재
4 대학교 특수교육 전문가 국제공인행동분석가 박사 11년 자폐 관련 연구, 자폐성장애 영유아, 학생 중재 및 슈퍼비전
5 대학교 교수 국제공인행동분석가 박사 10년 자폐 관련 연구, 자폐성장애 영유아, 학생 중재 및 슈퍼비전
6 치료실 치료사 국제공인행동분석가 석사 8년 자폐성장애 영유아 조기 발달 중재
7 치료실 치료사 국제공인행동분석가 석사 10년 자폐성장애 영유아 조기 발달 중재
8 치료실 치료사 국제공인행동분석가 석사 10년 자폐성장애 영유아 조기 발달 중재
9 치료실 치료사 국제공인행동분석가 석사 10년 자폐성장애 영유아 조기 발달 중재
Download Excel Table
2. 델파이 조사지 개발
1) 1차 델파이 조사지

ICF Core-Set Autism Children Brief는 크게 신체 영역, 활동 및 참여 영역, 환경적 요인 세 가지로 구분된다. 신체 영역에는 19개의 하위 문항, 활동 및 참여 영역에는 29개의 하위 문항, 환경적 요인에는 25개의 하위 문항이 포함되어 있다. 본 연구는 ICF Core-Set Autism Children Brief의 항목을 검토하고 자폐성 장애 영유아의 실제 의사소통 기술이 실현될 수 있는 신체와 활동 및 참여를 주요 문항으로 구성하였다. WHO(2001)는 ICF의 신체 영역을 신체의 물리적 기능, 심리적 기능, 신체의 구조적인 부분으로 정의하고 있으며, 활동 영역은 개인에 의한 실행 능력 또는 행동, 참여 영역은 생활 상황에서의 참여로 정의하고 있다. 반면 환경적 요인은 생활하는 물리적, 사회적, 태도적 환경으로 정의되는데, 이는 개인의 기능에 대한 방해 또는 촉진 요인으로 아동 개인의 능력에 초점을 두고자 조사지 구성에서 제외되었다. ICF Core-Set Autism Children Brief는 아직 한국어로 번안되어 나오지 않았으므로, 연구자가 기존 ICF 문항의 검토를 바탕으로 문항의 명칭과 문항의 정의를 번역하고 번역 내용을 검토받았다. 이에 따라 1차 델파이 조사지는 신체영역 19문항, 활동 및 참여영역 28개의 문항의 언어행동 평가에 대한 적합도를 5점 리커트 척도로 제시하였으며, 또한 각 문항이 부합하는 언어행동 발달 단계를 조사하기 위한 언어행동발달단계 적합도를 미청자, 청자, 화자로 구분하여 응답받았다. 또한, 응답자가 추가 의견을 작성할 수 있도록 의견란을 함께 제시하였다. ICF Core-Set Autism Children Brief의 신체 영역과 활동 및 참여 영역의 구성은 <표 2>와 같다.

표 2. ICF Core-Set Autism Children Brief 문항 구성
영역 문항
신체 1. 지남력 기능 11. 감정기능
2. 지적 기능 12. 지각기능
3. 전반적 정신사회적 기능 13. 사고기능
4. 기질과 개인 내 기능 14. 높은 수준의 인지기능
5. 기질과 성격 기능 15. 언어의 정신기능
6. 에너지와 추동기능 16. 온도와 기타 자극과 관련된 감각기능
7. 수면기능 17. 말하기의 유창성과 리듬기능
8. 주의력 기능 18. 수의적 움직임조절 기능
9. 기억 기능 19. 불수의적 움직임 기능
10. 정신운동기능
활동 및 참여 20. 보기 35. 말하기
21. 듣기 36. 말하기 이전
22. 모방하기 37. 비언어적 메시지로 표현하기
23. 정보 습득하기 38. 의사소통 장치 및 기술 사용하기
24. 개념 습득하기 39. 용변 관리하기
25. 기술 습득하기 40. 먹기
26. 주의 집중하기 41. 자신의 건강 돌보기
27. 주의하기 42. 스스로의 안전에 주의하기
28. 단일과제 수행하기 43. 기본적인 대인상호작용
29. 다중 과제 수행하기 44. 복잡한 대인상호작용
30. 일상생활 수행하기 45. 가족관계
31. 스트레스와 기타 심리적 부담 관리하기 46. 학교교육
32. 스스로의 행동 관리하기 47. 놀이에 참여하기
33. 음성메세지로 의사소통하기-수용 48. 레크리에이션과 여가
34. 비언어적 메시지로 의사소통하기-수용

각 문항 앞의 숫자는 문항번호를 의미함

Download Excel Table
2) 2차 델파이 조사지

2차 델파이 조사지는 1차 델파이 조사의 결과를 바탕으로 문항을 수정하여 재구성하였다. 2차 델파이 조사지는 1차로 수집된 응답에서 항목별 평균과 표준편차, 사분위수, 왜도, CVR을 도출하여 합의 수준을 확인하고 CVR값의 기준을 충족하지 못한 항목은 2차 조사지 구성에서 제외되었다. 2차 델파이 조사지는 각 응답자의 1차 델파이 조사의 응답을 함께 기입하여 응답자가 2차 조사 응답 시 1차 조사 시의 본인의 응답과 집단의 평균을 함께 확인하고 비교할 수 있도록 하였다.

2. 자료 분석

기존의 델파이 연구는 3회 이상의 의견 교환을 통한 전문가 합의점을 도출하나 수정된 델파이 조사에서는 최소 2회에서 최대 4회까지의 의견 교환을 권하고 있으며 패널 반응의 대다수의 합의점은 처음 두 번의 조사 단계에서 이루어질 수 있다(Lanford, 1972; Murray & Hammons, 1995). 이에 따라 본 연구에서는 총 2회에 걸친 수정된 델파이 조사를 실시하였다. 델파이 조사지는 각 응답자에게 메일로 개별 송부되었으며, 이메일로 회수되었다. 회수된 응답은 SPSS 21.0을 사용하여 분석하였다.

델파이 조사는 문항의 타당도에 대한 전문가간 의견 합의점을 도출하는 방법으로, 문항의 평균, 표준편차, 사분위수, 왜도, CVR, 합의도, 수렴도를 도출하게 된다. 본 연구는 Lawshe(1975)가 조사대상자의 수에 따라 제시하는 내용타당도 비율의 최소값을 근거로 하였는데, 본 연구의 전체 패널의 수는 9명으로, 기준으로 하는 CVR의 최소값은 .78이었다. 1차 델파이 조사는 문항별 평균, 표준편차, 사분위수, 왜도, CVR을 도출하여 합의 수준을 확인하였으며, 평균값이 3점 이하, 왜도가 0 이상, 그리고 CVR의 기준에 부합하지 않는 경우 해당 문항을 삭제하였다. 2차 조사지에서의 전문가간 합의 수준의 기준은 전문가 집단 9인의 CVR의 최소값이 .78을 넘는 경우와 수렴도와 합의도를 함께 도출하였으며, 왜도가 0 이상인 여부를 함께 최종 판단하였다. 델파이 조사의 합의 양호성은 항목별 변동계수 0.5 이하인 여부를 확인하여 델파이 조사의 최종 합의 및 종결 여부를 판단하였다. Lawshe(1975)의 내용타당도 비율 최소값은 다음 <표 3>과 같다.

표 3. Lawshe의 내용타당도 비율 최소값
응답한 패널의 수 9 10 11 12 13 14 15 20 25 30 35 40
CVR 최소값 .78 .62 .59 .56 .54 .51 .49 .42 .37 .33 .31 .29
Download Excel Table

Ⅲ. 연구결과

1. 문항의 적합도

ICF Core-Set Autism Children Brief 문항의 자폐성 장애 영유아 언어행동 평가 적절성에 대한 전문가 인식을 알아보기 위한 1차 조사로 결과, 하위문항의 분포는 2.56∼4.75로 나타났다. 가장 적절한 문항은 20번 문항 ‘보기’(M=4.75)였으며, 다음으로 문항 21 ‘듣기’(M=4.67), 문항 22 ‘모방하기’(M=4.67), 문항 33 ‘음성 메시지로 의사소통하기-수용’(M=4.67), 문항 34 ‘비언어적 메시지로 의사소통하기-수용’(M=4.67), 문항 37 ‘비언어적 메시지로 표현하기’(M=4.67)가 높게 나타났다. 반면 문항 7 ‘수면 기능’(M=2.56), 문항 41 ‘자신의 건강 돌보기’(M=2.56)는 보통보다도 낮은 수준으로 나타났다.

1차 조사 결과 문항 2와 문항 41이 3점보다 낮은 평균값을 보이거나, 왜도가 0을 넘어 적합하지 않다고 판단됨에 따라 2차 조사에서는 제외되었다. 2차 델파이 조사는 전문가 간 합의점을 도출하는 단계로, Ayre와 Scally(2014)에 따르면 전문가 집단이 9인인 경우 CVR의 최소값이 .78이어야 전문가 합의가 이루어졌다고 할 수 있다. 또한 수렴도 합의도를 함께 도출하여 항목의 적합성을 최종적으로 판단하였다. 2차 조사 결과, 하위 문항의 평균 분포는 2.56∼4.78로 나타났으며, 문항 22 ‘모방하기’(M=4.78), 문항 33 ‘음성메세지로 의사소통하기-수용’(M=4.78), 문항 34 ‘비언어적 메시지로 의사소통하기-수용’(M=4.78), 문항 35 ‘말하기’(M=4.78), 문항 36 ‘말하기 이전’(M=4.78)이 가장 적합도가 높은 일치도를 보였다. 이 외에도 문항 20 ‘보기’(M=4.67), 문항 23 ‘정보 습득하기’(M=4.67), 문항 24 ‘개념 습득하기’(M=4.67), 문항 25 ‘기술 습득하기’(M=4.67)등이 다음으로 높은 적합도를 가진 문항으로 확인되었다. 2차 델파이 조사 결과, 1차 조사에서 2개 문항이 제거된 46개 문항 중, 왜도가 0보다 크거나, CVR이 .78보다 작은 문항을 추가로 제거하여 최종적으로 22개의 문항이 적합한 것으로 도출하였으며, 2차 조사 응답의 항목별 변동계수(Coefficient Variation; CV)가 .5 이하로 나타나 합의가 잘 이루어진 것으로 확인되어 2차에서 델파이 조사를 마무리하였다. 2차 델파이조사의 결과는 <표 4>와 같다.

표 4. 2차 델파이 조사 결과- 문항의 적합성
문항 평균 표준편차 왜도 사분위수 리커트 4점 이상 CVR 수렴도 합의도 CV
Q1 Q3
문항1 4.11 0.33 3.00 4.00 4.00 9 1.00 0 1.00 0.08
문항3 4.11 1.05 -1.09 3.50 5.00 7 0.56 0.5 0.63 0.26
문항4 3.00 0.87 0.00 2.00 4.00 3 -0.33 0.5 0.33 0.29
문항5 2.89 0.93 0.26 2.00 4.00 3 -0.33 0.5 0.33 0.32
문항6 3.33 0.87 -0.83 2.50 4.00 5 0.11 0 0.63 0.26
문항8 4.56 0.53 -0.27 4.00 5.00 9 1.00 0 0.80 0.12
문항9 4.33 0.50 0.86 4.00 5.00 9 1.00 0.5 0.75 0.12
문항10 3.56 1.01 -0.66 2.50 4.00 6 0.33 0 0.63 0.29
문항11 4.22 0.44 1.62 4.00 4.50 9 1.00 0.25 0.88 0.10
문항12 4.22 0.44 1.62 4.00 4.50 8 0.78 0.25 0.88 0.10
문항13 4.11 0.60 0.02 4.00 4.50 8 0.78 0.25 0.88 0.15
문항14 4.11 0.33 3.00 4.00 4.00 9 1.00 0 1.00 0.08
문항15 4.44 0.53 0.27 4.00 5.00 9 1.00 0.5 0.75 0.12
문항16 3.00 0.71 0.00 2.50 3.50 2 -0.56 0.25 0.67 0.24
문항17 4.44 0.53 0.27 4.00 5.00 8 0.78 0.5 0.75 0.12
문항18 3.00 0.71 0.00 2.50 3.50 2 -0.56 0.25 0.67 0.24
문항19 2.78 1.09 1.29 2.00 3.50 2 -0.56 0.75 0.25 0.39
문항20 4.67 0.50 -0.86 4.00 5.00 9 1.00 0 0.80 0.11
문항21 4.56 0.53 -0.27 4.00 5.00 9 1.00 0 0.80 0.12
문항22 4.78 0.44 -1.62 4.50 5.00 9 1.00 0 0.90 0.09
문항23 4.67 0.50 -0.86 4.00 5.00 9 1.00 0 0.80 0.11
문항24 4.67 0.50 -0.86 4.00 5.00 9 1.00 0 0.80 0.11
문항25 4.67 0.50 -0.86 4.00 5.00 9 1.00 0 0.80 0.11
문항26 4.56 0.53 -0.27 4.00 5.00 9 1.00 0 0.80 0.12
문항27 4.67 0.50 -0.86 4.00 5.00 9 1.00 0 0.80 0.11
문항28 4.56 0.53 -0.27 4.00 5.00 9 1.00 0 0.80 0.12
문항29 4.56 0.53 -0.27 4.00 5.00 9 1.00 0 0.80 0.12
문항30 4.22 0.67 -0.25 4.00 5.00 8 0.78 0.5 0.75 0.16
문항31 2.89 1.17 0.27 2.00 3.50 2 -0.56 0.25 0.50 0.40
문항32 3.22 1.39 -0.15 2.00 4.50 4 -0.11 0.75 0.17 0.43
문항33 4.78 0.44 -1.62 4.50 5.00 9 1.00 0 0.90 0.09
문항34 4.78 0.44 -1.62 4.50 5.00 9 1.00 0 0.90 0.09
문항35 4.78 0.44 -1.62 4.50 5.00 9 1.00 0 0.90 0.09
문항36 4.78 0.44 -1.62 4.50 5.00 9 1.00 0 0.90 0.09
문항37 4.67 0.50 -0.86 4.00 5.00 9 1.00 0 0.80 0.11
문항38 4.22 0.67 -0.25 4.00 5.00 8 0.78 0.5 0.75 0.16
문항39 3.11 1.27 -0.26 2.00 4.00 4 -0.11 0.5 0.33 0.41
문항40 2.67 0.87 -0.66 2.00 3.00 1 -0.78 0 0.67 0.32
문항42 2.56 0.88 -0.21 2.00 3.00 1 -0.78 0 0.67 0.35
문항43 4.56 0.53 -0.27 4.00 5.00 9 1.00 0 0.80 0.12
문항44 4.22 0.67 -0.25 4.00 5.00 8 0.78 0.5 0.75 0.16
문항45 3.33 1.22 0.23 2.00 4.50 4 -0.11 0.75 0.17 0.37
문항46 3.33 0.87 -0.83 2.50 4.00 5 0.11 0 0.63 0.26
문항47 4.22 0.67 -0.25 4.00 5.00 8 0.78 0.5 0.75 0.16
문항48 3.22 0.67 -0.25 3.00 4.00 3 -0.33 0.5 0.67 0.21
Download Excel Table
2. 발달단계 적합도

ICF Core-Set Autism Children Brief 문항별 적합한 언어행동 발달의 수준을 2차에 걸친 조사로 살펴본 결과, 미청자 단계는 문항 36 ‘말하기 이전’(88.9%), 문항 20 ‘보기’(88.9%)가 높은 적합성 일치도를 보였으며, 다음으로 문항 47 ‘놀이에 참여하기’(67.7%), 문항 18 ‘수의적 움직임 조절 기능’(55.6%), 문항 19 ‘불수의적 움직임 기능’(55.6%)의 순으로 적합하다고 확인되었다. 청자 단계는 문항 2 ‘지적 기능’, 문항 9 ‘기억 기능’, 문항 12 ‘지각 기능’, 문항 20 ‘보기’, 문항 21 ‘듣기’, 문항 24 ‘개념 습득하기’, 문항 26 ‘주의집중하기’, 문항 27 ‘주의하기’, 문항 28 ‘단일 과제수행하기’, 문항 43 ‘기본적인 대인상호작용’, 문항 47 ‘놀이에 참여하기’가 100% 합의된 문항으로 확인되었으며, 다음으로 문항 1 ‘지남력 기능’, 문항 3 ‘전반적 정신사회적 기능’, 문항 8 ‘주의력 기능’ 등이 88.9%의 높은 일치도를 가지는 문항으로 확인되었다.

화자 단계는 문항 13 ‘사고기능’, 문항 14 ‘높은 수준의 인지기능’, 문항 26 ‘주의집중하기’, 문항 38 ‘의사소통장치 및 기술 사용하기’, 문항 48 ‘레크리에이션과 여가’에서 100%의 적합도가 도출되었으며, 문항 2 ‘지적 기능’, 문항 3 ‘전반적 정신사회적 기능’, 문항 8 ‘주의력기능’, 문항 11 ‘감정기능’, 문항 15 ‘언어의 정신기능’ 등이 88.9%로 다음으로 높은 일치도를 보이는 문항들로 나타났다. 반면 문항 40 ‘먹기’는 언어 발달 단계에 해당되지 않는다는 응답이 66.7%로 가장 높게 나타났으며, 다음으로 문항 39 ‘용변 관리하기’, 문항 42 ‘스스로의 안전에 주의하기’가 55.6%로 타 문항보다 해당 없음에 비교적 높은 응답 일치도를 보였다. 발달단계 적합도에 대한 최종 결과는 <표 5>와 같다.

표 5. 2차 델파이 조사 결과-문항별 발달단계
문항 발달단계 n(%) 문항 발달단계 n(%)
문항8 미청자 4(44.4) 문항30 미청자 0
청자 8(88.9) 청자 7(77.8)
화자 8(88.9) 화자 7(77.8)
해당없음 1(11.1) 해당없음 1(11.1)
문항20 미청자 8(88.9) 문항33 미청자 1(11.1)
청자 9(100) 청자 7(77.8)
화자 5(55.6) 화자 7(77.8)
해당없음 0 해당없음 0
문항21 미청자 1(11.1) 문항34 미청자 2(22.2)
청자 9(100) 청자 8(88.9)
화자 7(77.8) 화자 7(77.8)
해당없음 0 해당없음 0
문항22 미청자 5(55.6) 문항35 미청자 1(11.1)
청자 8(88.9) 청자 1(11.1)
화자 7(77.8) 화자 8(88.9)
해당없음 0 해당없음 0
문항23 미청자 0 문항36 미청자 8(88.9)
청자 8(88.9) 청자 6(66.7)
화자 8(88.9) 화자 4(44.4)
해당없음 0 해당없음 0
문항24 미청자 1(11.1) 문항37 미청자 1(11.1)
청자 9(100) 청자 6(66.7)
화자 7(77.8) 화자 8(88.9)
해당없음 0 해당없음 0
문항25 미청자 3(33.3) 문항38 미청자 2(22.2)
청자 9(100) 청자 2(22.2)
화자 6(66.7) 화자 9(100)
해당없음 0 해당없음 0
문항26 미청자 5(55.6) 문항43 미청자 1(11.1)
청자 9(100) 청자 9(100)
화자 9(100) 화자 8(88.9)
해당없음 0 해당없음 0
문항27 미청자 3(33.3) 문항44 미청자 1(11.1)
청자 9(100) 청자 5(55.6)
화자 8(88.9) 화자 9(100)
해당없음 0 해당없음 0
문항28 미청자 1(11.1) 문항47 미청자 6(66.7)
청자 9(100) 청자 9(100)
화자 7(77.8) 화자 7(77.8)
해당없음 0 해당없음 0
문항29 미청자 0
청자 7(77.8)
화자 8(88.9)
해당없음 0
Download Excel Table

총 2차에 걸친 델파이 조사를 통하여 본 연구에서는 최종 평가 항목을 도출하였으며, 도출된 최종 평가 항목별 적합한 발달단계는 전문가 집단 절반 이상의 응답이 도출된 경우만 포함하였다. 보기, 모방하기, 주의 집중하기, 놀이에 참여하기 항목이 미청자, 청자, 화자 세가지 단계에 모두 적합한 문항이라고 도출되었다. 말하기, 의사소통장치 및 기술 사용하기, 복잡한 대인상호작용은 화자 단계에만 적합한 것으로 확인되었다. 최종적으로 도출한 자폐성장애 영유아 언어행동 평가에 적합한 문항과 각 문항별 적합한 언어행동 발달 단계는 다음의 <표 6>과 같다.

표 6. 최종 도출 문항
문항 내용 적합 발달단계 문항 내용 적합 발달단계
문항8 주의력 기능 청자, 화자 문항30 일상생활 수행하기 청자, 화자
문항20 보기 미청자, 청자, 화자 문항33 음성메세지로 의사소통하기-수용 청자, 화자
문항21 듣기 청자, 화자 문항34 비언어적 메시지로 의사소통 하기 수용 청자, 화자
문항22 모방하기 미청자, 청자, 화자 문항35 말하기 화자
문항23 정보 습득하기 청자, 화자 문항36 말하기 이전 미청자, 청자
문항24 개념 습득하기 청자, 화자 문항37 비언어적 메시지로 표현하기 청자, 화자
문항25 기술 습득하기 청자, 화자 문항38 의사소통장치 및 기술 사용하기 화자
문항26 주의 집중하기 미청자, 청자, 화자 문항43 기본적인 대인상호작용 청자, 화자
문항27 주의하기 청자, 화자 문항44 복잡한 대인상호작용 화자
문항28 단일 과제수행하기 청자, 화자 문항47 놀이에 참여하기 미청자, 청자, 화자
문항29 다중 과제수행하기 청자, 화자
Download Excel Table

Ⅳ. 논의 및 제언

본 연구는 ICF Core-Set Autism Children Brief의 문항이 자폐성장애 영유아의 언어행동 평가에 적합한지를 전문가 집단을 대상으로 델파이 조사를 시행하고 타당성을 알아보았다. 델파이 조사 결과, ICF Core-Set Autism Children Brief의 신체 영역과, 활동 및 참여 영역 48개의 문항 중 22개의 문항이 자폐성장애 영유아의 언어행동평가 문항으로서 적합한 것으로 도출되었다. 본 연구의 결과에 기반한 논의는 다음과 같다.

첫째, 본 연구에서는 ICF Core-Set Autism Children Brief 신체영역과 활동 및 참여 영역의 항목에 대한 2차시에 걸친 델파이 조사를 시행하였으며, 각 문항의 평균, 합의도, 수렴도, CVR 등을 바탕으로 전문가 합의도를 살펴보았다. 2차에 걸친 조사 결과, 모방하기(문항 22), 음성메세지로 의사소통하기-수용(문항 33), 비언어적 메시지로 의사소통하기-수용(문항 34), 말하기(문항 35), 말하기 이전(문항 36)이 평균 4.78로 가장 높은 합의도를 보이는 문항으로 나타났다. 모방은 생애 초기부터 나타나지만(Heimann, 2020; Meltzoff & Moore, 1977) 자폐성장애 아동들이 생애 초기부터 습득에 어려움 겪는 기술이다(Williams, Whiten, & Singh, 2004). 음성메세지로 의사소통하기-수용과 비언어적 메시지로 의사소통하기-수용은 타인이 말로 전달하는 메시지를 이해하거나, 몸짓, 기호, 사진 등의 메시지를 이해할 수 있는 능력인데, 자폐성장애 아동은 사회적 의사소통 및 상호작용의 결함으로 구어와 비구어 의사소통이 서투르며 몸짓의 이해, 사용, 표정, 비구어적 의사소통에서 어려움을 보인다(이희란, 이승복, 2013). 즉, 전문가들에 의해 가장 높은 합의도를 보인 문항들은 자폐성장애 영유아가 보이는 중심적인 결함을 반영하고 있는 것으로, 영유아의 조기 교육에 필수적인 요소들이라 할 수 있다. 따라서 자폐성장애 아동의 언어 행동 평가는 자폐성장애 아동의 장애로 인한 핵심적인 결함을 우선적으로 다룰 필요가 있다고 할 수 있다.

다음으로는 보기(문항 20), 정보 습득하기(문항 23), 개념 습득하기(문항 24), 기술 습득하기(문항 25), 주의하기(문항 27), 비언어적 메시지로 표현하기(문항 37)가 평균 4.67로 높은 합의도를 가진 문항으로 확인되었다. 정보 습득하기는 질문을 통해서 이루어지는데 이것은 타인에 대한 대화의 개시를 의미하는 것으로, 자폐성장애 학생들은 직접적인 교수가 제공되기 전에는 보이지 않는 경향을 보인다(Williams, Pérez González, & Vogt, 2003). 자폐성장애 아동을 대상으로 하는 중재들은 이와 같은 정보 습득을 언어행동의 유형에 따라 맨드로 분류하여 중재를 제공하며(양송이, 박혜숙, 2022; Landa, Frampton, & Shillingsburg, 2020; Kahlow, Sidener, Kisamore, & Reeve, 2019; Vanlentino, Fu, & Padover, 2019) 중요하게 다루고 있다. 자폐성장애 아동의 조기 중재를 위한 커리큘럼들은 자폐성장애 아동의 학습을 위한 요소로 다양한 개념의 학습, 놀이를 주요 영역으로 포함하고 있다(Sundberg, 2008; Partington, 2010; Rogers & Dawson, 2010). 본 연구의 결과에서 도출된 사물, 사람, 사건 등과 관련된 기본 및 복합 개념을 이해하는 개념 습득하기 문항과 도구, 장난감 사용 기술을 의미하는 기술 습득하기 문항은 기존 자폐성장애 아동을 위한 평가 및 교육 프로그램에서 주요하게 다루는 영역들과 맥을 같이 하는 것이라 할 수 있다. 본 연구는 기존 커리큘럼들에서 주요하게 다루는 영역들을 기능 기반의 ICF 문항을 통해 재검증함으로써 자폐성장애 언어 행동 평가를 통한 조기 개입의 주요 영역을 제시하였다고 할 수 있다.

둘째, 본 연구는 언어 발달단계의 하나로 미청자 단계를 포함하였는데, 보기, 모방하기, 주의 집중하기, 말하기 이전, 놀이에 참여하기 다섯가지 문항이 미청자 단계 평가에 적합하다고 도출되었다. 이는 기존의 자폐성장애 아동의 교육적 평가를 목적으로 한 도구들은 대다수가 기본적인 에코익, 맨드 등의 초기 화자 능력을 전제로 하고 있지만, 본 연구에서는 초기 화자 능력에 선행되는 발달 기술의 교수 방향을 제시할 수 있다는 점에서 의의가 있다. 언어발달단계에 있어 다음 단계의 성취를 위해서는 선행발달단계의 습득이 이루어질 수 있어야 하는데, 만약 아동이 미청자 단계에서부터 다음 단계로 넘어가지 않는다면 성공적인 발달단계 성취가 어렵거나 많은 어려움을 동반하게 되며 결국 학습의 정체기를 맞을 수 있다(Greer & Ross, 2008). Rosales-Ruiz와 Baer(1996)는 행동 발달점(Behavioral developmental cusps)이라는 개념을 제시하며 행동 발달점이 아동으로 하여금 환경 속의 새로운 부분들에 대한 접촉을 할 수 있는 유관을 생성하여 아동이 새로운 조작적 행동을 배울 수 있도록 한다고 밝혔다. 즉 자폐성장애 아동의 언어 발달에 있어 미청자 단계에 해당하는 발달점들을 주요 선행 기술로 다룰 수 있어야 한다.

예를 들면 ICF Core-Set Autism Children Brief에서는 보기를 시각적으로 사물을 추적하는 것, 사람을 관찰하는 것, 타인의 행동을 주시하는 것과 같이 의도적으로 시각을 사용하는 것으로 정의하고 있다. 미청자 단계 아동의 필수적인 언어 발달 기술로는 시각적 추적, 감각의 동일성 인식, 교사를 시각적 단서 및 강화로 한 지시따르기 등이 있다(Greer & Ross, 2008). 이는 ICF Core-Set Autism Children Brief에서 도출된 ‘보기’가 언어행동 발달단계에 따라 제시되는 선제 기술과 맥을 같이 함을 의미한다. 자폐성장애는 만 2세 이하부터 눈 응시/지적 따르기에서 핵심적인 결함을 보이는 것으로 알려진다(김은경, 2010). 눈 응시는 사회성 기술, 마음 이론, 조망 수용 등의 고차원적 사회적 인지 능력의 발달과(Stephenson et al., 2021), 공동 주의 개시(Hamilton, 2016)의 중요한 요소이다.

ICF Core-Set Autism Children Brief의 ‘보기’는 사물을 추적하거나, 사람을 관찰하는 능력으로 이는 사회적 상호작용 능력과도 밀접한 공동주의를 위한 중요한 선제기술이 될 수 있기에 언어행동 발달의 초기부터 중요하게 다루어야 하는 기술이라고 할 수 있을 것이다. 그러나 국내에서 시행된 언어행동분석 중재는 맨드, 택트, 에코익, 인트라버벌등의 언어 행동의 중재를 중점으로 시행되는 것으로 확인되는데(김대용, 2022; 박혜숙, 외 2018; 최혜승, 박진영, 2017; 임희정, 홍준표, 2019; 이정해, 최진혁; 2020, 조문진, 박혜숙, 2023) 이는 현재의 언어행동 기반 중재가 구어적 발화를 중심으로 한 화자 중심으로 이루어지고 있으며, 이를 위해 선행되는 기술들에 대한 중재는 비교적 다루어지고 있지 않음을 알 수 있다. 따라서 자폐성장애 아동을 위한 언어 행동 평가 도구는 미청자 단계를 포함하여 언어 중재의 범위를 확장할 수 있는 교육적 가이드라인이 될 수 있을 것이라 여겨진다.

연구의 제한점 및 제언은 다음과 같다.

첫째, 본 연구는 ICF Core-Set Autism Children Brief의 항목을 활용하여 언어행동 평가에 대한 타당성을 알아본 것으로, 도출된 항목을 기반으로 실제 평가를 위한 항목을 재구성할 필요가 있다. 본 연구는 ICF Core-Set Autism Children Brief를 기반으로 하였는데, 이는 ICF의 분류체계를 축소한 ICF Core-Set에 기반한 것으로, 기존의 ICF보다 축소된 항목을 기반으로 하여 ICF의 전체적인 분류 체계를 다루지는 못한 단점이 있다. 따라서 도출된 항목을 기반으로 평가 항목을 재구성할 때에는 항목이 자폐성장애 아동의 주요 기술을 세분화하여 다룰 수 있도록 설계할 필요가 있을 것이다. 둘째, 본 연구는 9인의 전문가 패널을 대상으로 하였으며, 행동분석전문가로 자격을 제한하였다. 따라서 추후 평가 항목을 재구성하고 실제 아동을 대상으로 적용하기 위한 적합성을 알아보기 위해서는 다학제적인 검토를 기반으로 다학제적 관점의 도구 개발이 이루어져야 할 것이다.

Notes

이 논문은 2021년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2021S1A5B5A17055165).

참고문헌

1.

구본경, 정경미 (2018). 자폐스펙트럼장애 영유아를 위한 집중적 조기행동개입 프로그램의 효과성 검증. 자폐성 장애연구, 18(2), 1-30.

2.

김대용 (2022). 언어행동분석 관련 단일대상연구 동향 분석. 행동분석·지원연구, 9(1), 27-49.

3.

김은경 (2010). 자폐 스펙트럼 장애 영유아의 초기 사회적 의사소통 특성에 관한 종단 연구. 자폐성장애연구, 10(2), 25-49.

4.

김지원, 최지은, 이윤경 (2015). 초기언어발달단계 자폐스펙트럼장애 유아의 의도적 의사소통 행동 특성. 유아특수교육연구, 15(3), 51-67.

5.

김화수, 민운정, 김지현 (2019). 말 늦은 아동과 자폐성향 아동의 언어특성 비교연구. 유아특수교육연구, 19(1), 147-159.

6.

노승룡 (2006). 델파이 기법: 전문적 통찰로 미래예측하기. 국토연구원 보고서, 53-6.

7.

박다해, 김은경, (2017). 그림교환의사소통체계(PECS)를 활용한 중재가 자폐성 장애 유아의 자발적 사물 요구하기 행동의 습득과 일반화에 미치는 영향. 자폐성 장애연구, 17(2), 49-76.

8.

박보경, 최예린, 송승하 (2021). CSBS DP를 통한 자폐스페트럼장애 영유아와 언어발달지연 영유아의 의사소통 행동 특성에 대한 메타분석. 특수교육재활과학연구, 60(1), 331-353.

9.

박혜숙, 안효민, 김수정, 김승주, 이유진, 장혜정, 유연희 (2018). 화자집중훈련(Speaker Immersion)이 자폐스펙트럼 장애를 가진 유아의 자발적인 맨드(Mand) 및 택트(Tact) 행동 증가에 미치는 영향. 행동분석.지원연구, 5(2), 105-125.

10.

신지연, 이윤경 (2008). 어휘체크리스트를 이용한 자폐 범주성 장애 유아의 표현어휘 특성. 자폐성 장애연구, 8(1), 143-154.

11.

양송이, 박혜숙 (2022). 동기조작(MO)이 자폐스펙트럼장애 학생의 자발적인 정보 맨드에 미치는 영향. 행동분석·지원연구, 9(3), 19-41.

12.

이경숙, 윤현숙, 정희승, 유희정 (2015). 국내 자폐스펙트럼장애 영유아의 조기선별 및 지원 체계 고찰. 자폐성 장애연구, 15(2), 93-120.

13.

이귀옥 (2008). 조기언어발달 아동의 초기 언어능력의 안정성. 한국지역사회생활과학회지, 19(4), 673~684.

14.

이정해, 최진혁 (2020). 택트의 자극통제 전이절차가 언어발달지연 아동의 인트라버벌에 미치는 효과. 정서·행동장애연구, 36(1), 139-158.

15.

이희란, 이승복 (2013). 자폐범주성장애 아동의 의사소통 몸짓 관련 연구 동향. 자폐성장애연구, 13(3), 145-165.

16.

임희정, 홍준표 (2019). 무오류 학습과 단계적 용암법을 활용한 맨드와 택트 훈련이 자폐 아동의 음성 언어 습득에 미치는 효과. 행동분석·지원연구, 6(1), 21-40.

17.

조문진, 박혜숙 (2023). 다중반응교수(MEI)가 자폐스펙트럼장애 아동의 자극 등가 관계 안에서 보이는 파생적 인트라버벌 반응과 네이밍인 택트 반응에 미치는 영향에 관한 연구. 행동분석·지원연구, 10(2), 1-27.

18.

최진혁, 박재국, 박성호, 김은라, 김민영, 서보순 (2018). 발달장애 학생을 위한 ICF Core Set 항목 개발 연구. 교육혁신연구, 28(4), 265-294.

19.

최혜승, 박진영 (2017). 에코익-택트 전이절차가 발달장애아동의 택트행동에 미치는 효과. 발달장애연구, 21(4), 1-19.

20.

American Psychiatric Association (2013). Diagnostic and statistical manual of mental disorder (5th ed.). Washington, DC: APA press.

21.

Ayre, C., & Scally, A. J. (2014). Critical Values for Lawshe’s Content Validity Ratio: Revisiting the Original Methods of Calculation. Measurement and Evaluation in Counseling and Development, 47, 79-86.

22.

Bates, E., Thal, D., & Janowsky, J. S. (1992). Early language development and its neural correlates. Handbook of neuropsychology, 7, 69-69.

23.

B.G. Cook, S.L. Odom (2013). Evidence-based practices and implementation science in special education. Exceptional Children, 79(3), 135-144.

24.

Council for Exceptional Children. (2012). CEC initial level special educator preparation standards. Arlington, VA:Author.

25.

Di Rezze, B., Rosenbaum, P., Zwaigenbaum, L., Hidecker, M. J., Stratford, P., Cousins, M., Camden, C., & Law, M. (2016). Developing a classification system of social communication functioning of preschool children with autism spectrum disorder. Developmental medicine and child neurology, 58(9), 942–948.

26.

Greer, R. D., & Ross, D. E. (2008). Verbal Behavior Analysis: Inducing and expanding new verbal capabilities in children with language delays. Boston: Pearson/Allyn & Bacon.

27.

Hamilton A. F. de C. (2016). Gazing at me: The importance of social meaning in understanding direct-gaze cues. Philosophical Transactions of the Royal Society B: Biological Sciences, 371, Article 20150080. doi: 10.1098/rstb.2015.0080

28.

Heimann, M. (2020). Imitation from infancy through early childhood: Typical and Atypical Development. Springer Nature Switzerland AG.

29.

World Health Organization (2001). ICF: International classfication of functioning, disability, and health. Geneva: World Health Organization.

30.

Jones, M. L. (2009). A study of novice special educators‘ views of evidence-based practices. Teacher Education and Special Education, 32, 101-120.

31.

Kahlow, T. A., Sidener, T. M., Kisamore, A. N., & Reeve, K. F. (2019). Teaching the mand “when?” to children with autism spectrum disorder. The Analysis of Verbal Behavior, 35, 221-234.

32.

Landa, R. K., Frampton, S. E., & Shillingsburg, A. (2020). Teaching children with autism to mand for social information. Journal of Applied Behavior Analysis, 53(4), 2271-2286.

33.

Lanford, H. W. (1972). Technological forecasting methodologies: a sysnthesis. New York: New York American Management Associaion.

34.

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575.

35.

Lovaas, O. I. (1987). Behavioral treatment and normal educational and intellectual functioning in young autistic children. Journal of Consulting and Clinical Psychology, 55(1), 3-9.

36.

Meltzoff, A. N., & Moore, M. K. (1977). Imitation of facial and manual gestures by human neonates. Science, 198(4312), 75-78.

37.

Motiwala, S. S., Gupta, S., Lilly, M. B., Ungar, W. J., & Coyte, P. C. (2006). The cost-effectiveness of expanding intensive behavioural intervention to all autistic children in Ontario. Healthcare Policy, 1(2), 135-151.

38.

Murray, J. W., & Hammons, J. O. (1995). Delphi: A Versatile Methodology for Conducting Qualitative Research. The Review of Higher Education, 18, 423.

39.

Partington, J. W. (2010). The ABLLS-R-The Assessment of Basic Language and Learning Skills-Revised. Walnut Creek, CA: Behavior Analysts, Inc.

40.

Peters-Scheffer, N., Didden, R., Korzilius, H., & Sturmey, P. (2011). A meta-analytic study on the effectiveness of comprehensive ABA-based early intervention programs for children with Autism Spectrum Disorders. Research in Autism Spectrum Disorders, 5(1), 60-69.

41.

Roane, H. S., Fisher, W. W., Carr, J. E. (2016). Applied behavior analysis as treatment for autism stpectrum disroder. The Journal of Pediatrics, 175, 27-32.

42.

Rogers, S. J., & Dawson, G. (2010). Early Start Denver Model for young children with autism: Promoting language, learning, and engagement. The Guilford Press.

43.

Rosales-Ruiz, J., & Baer, D. M. (1997). Behavioral cusps: a developmental and pragmatic concept for behavior analysis. Journal of applied behavior analysis, 30(3), 533-544.

44.

Skinner (1957). Verbal behavior. New York: Appleton-Century-Crofts.

45.

Stephenson, L. J., Edwards, S. G., & Bayliss, A. P. (2021). From Gaze Perception to Social Cognition: The Shared-Attention System. Perspectives on Psychological Science, 16(3), 553-576.

46.

Sundberg, M.L. (2008) VB-MAPP Verbal Behavior Milestones Assessment and Placement Program: A Language and Social Skills Assessment Program for Children with Autism or Other Developmental Disabilities. Guide, AVB Press.

47.

Valentino, A. L., Fu, S. B., & Padover, J. L. (2019). Teaching Mands for information using “why” to children with autism. The Analysis of Verbal Behavior, 35, 245-257.

48.

Williams, G., Pérez González, L. A., & Vogt, K. (2003). The role of specific consequences in the maintenance of three types of questions. Journal of Applied Behavior Analysis, 36(3), 285-296.

49.

William, J. H. G., Whiten, A., & Singh, T. (2004). A systematic review of action imitation in autistic spectrum disorder. Journal of Autism and Developmental Disorders, 34, 285-299.