Ⅰ. 서 론
학교 폭력을 비롯하여 학교에서 발생하는 여러 형태의 문제행동은 우리 사회가 외면할 수 없는 고질적 문제이다. 문제행동 지도와 관련된 교사의 심리적 소진이 가중되면서(배현민, 최지영, 2021), 효과적 생활지도에 관한 교육청 연수나 교사연구회 활동이 증가하고 있다(김수희, 김수연, 김혜랑, 김현령, 2022; 박계신, 2022). 그럼에도 김수희 등(2022)은 일련의 시도들이 교실 현장에 안착하지 못하고 있음을 우려하며 교사 개인의 역량과 책임에 의존하는 지금의 생활지도 방식을 벗어나야 한다고 강조하였다. 특히 김수희 등은 최근 학교 현장에서 시도되는 다양한 생활지도 접근 방식에 관한 초등교사의 인식과 경험을 조사하였다. 조사 결과에 따르면 대표적인 증거 기반 행동지원체계로 알려진 학교 차원의 긍정적 행동지원(school-wide Positive Behavioral Interventions and Supports; 이하 SWPBIS)이 일반교사에게 생소한 측면이 있으나, 그들이 자주 활용하는 생활지도 방식과 유사한 측면이 있었다. 이러한 결과는 SWPBIS를 처음 접하는 초등교사들이 심리적 부담을 완화하고 실증적 지식을 교수적 행동으로 이어가는 데 기여할 수 있음을 시사한다. 이와 함께 많은 연구(김보경, 박지연, 2017; 박계신, 2020, 2022)가 긍정적 학교 문화 조성과 효과적 생활지도 체계 마련을 위해 SWPBIS의 체계적 준비와 도입을 제안하였다.
SWPBIS란 모든 학생을 위한 안전하고 안정적인 학교 환경, 정서 행동상 요구에 대한 체계적 선별과 신속한 개입, 증거 기반 중재 제공을 강조하는 다층예방적 행동지원체계이다(Horner & Sugai, 2015). SWPBIS는 3단계로 구성된 지원체계로 모든 학생을 대상으로 모든 교사가 참여하는 보편적 지원(1차 예방)의 도입으로 시작된다. 교내 곳곳에서 기대행동을 가르치고, 기대행동에 대한 학생의 시도와 참여를 격려하며, 문제행동에 대해 일관성 있고 효과적으로 반응한다. 더불어 추가적 지원이 필요한 일부 또는 소수의 학생을 대상으로 개별 요구에 적합한 강도높은 중재를 제공하기 위해 표적집단 지원(2차 예방)과 개별 지원(3차 예방)이 실행된다(Horner & Sugai, 2015; Sugai & Horner, 2020).
학교 차원의 행동지원체계를 계획하고 관리하기 위해 학교 구성원을 대표하는 학교팀이 구성된다(Sugai & Horner, 2020). 특히, 팀의 효과적 의사결정을 위해 자료의 수집과 활용이 강조되는데, 대표적인 자료의 예는 학생 행동과 실행충실도에 관한 자료이다. 학교팀은 학생 행동에 관한 자료를 점검함으로써 SWPBIS 실행을 통해 학생 행동을 개선하고 있는지 확인하고, 그 성과가 현재의 노력을 지속하고 확장할 만큼 충분한지 평가한다(Horner & Sugai, 2015). 이와 관련하여 Center on Positive Behavioral Interventions and Supports(이하 Center on PBIS)는 학생 행동에 관한 자료 수집과 점검을 평가의 기본 요소로 강조하지만, 효과성 평가는 적절한 수준의 실행충실도가 확보되었을 때 정확히 논의될 수 있다고 조언한다(Center on PBIS, 2020). 실행충실도란 특정 중재의 이론적 기반이 되는 핵심 원칙을 충실히 실행하고 있는 정도를 일컫는다. 학교가 SWPBIS의 핵심 요소를 충실히 실행하지 않으면 소기에 목표한 학생 변화를 기대할 수 없고, 학생 변화가 있더라도 지속 가능한 결과로 고려될 수 없다.
실행충실도 평가는 명확하게 정의된 특정 중재의 핵심 요소를 전제로 한다(Nelson et al., 2012). 중재 설계에 있어 효과에 영향을 미칠 것으로 가정된 구성개념(construct) 사이의 관계를 논리적으로 설명하는 과정에서 핵심적 중재 요소가 판별되고 이론과 연구를 기초로 실행 장면에서 정교화된다. SWPBIS의 경우 공중보건학에서 강조되는 다층예방체계를 학교 환경에 적용하고, 각 예방체계를 (a) 학교에서 중요하게 추구되는 성과(outcome), (b) 학생 행동 변화를 위해 제공되는 실제(practice), (c) 실제의 효율적 실행을 위해 운영되는 체계(system), (d) 효과적 의사결정에 활용되는 자료(data)로 구현한다(Horner & Sugai, 2015; Sugai & Horner, 2020). 이러한 4가지 요소는 행동이론, 조직행동학, 실행과학 등 다양한 영역에서 축적된 연구와 지식을 기반으로 핵심적 특징에 대해 조작적으로 정의된다.
특정 중재가 실행되는 역동적 현장에서 중재의 핵심 요소에 대한 실행 수준을 정확히 측정하기 위해 실행충실도의 다각적 측면이 고려되어야 한다. 선행연구는 실행충실도가 다차원적으로 복잡한 개념임을 강조한다(van Dijk, Lane, & Gage, 2020). 대표적으로 Dane과 Schneider(1998)는 1980년과 1994년 사이의 학령기 예방 프로그램에 관한 연구에서 충실도를 평가한 연구들이 준수(adherence; 중재 요소의 실행이 완료된 정도), 양적 측면(exposure; 중재 요소의 시간, 빈도, 양 등), 질적 측면(quality; 중재 제공자가 중재 내용을 전달하는 방식이나 태도), 반응성(responsiveness; 중재를 제공받는 사람이 전달된 중재 내용을 이해하고 참여하는 정도), 프로그램 차별성(program differentiation; 실험집단에서 제공된 중재와 통제집단이 노출된 환경의 차이) 중 1가지 이상을 평가하였음을 밝혔다. 또한, 관련 연구(Gage, MacSuga-Gage, & Detrich, 2020; Sanetti & Kratochwill, 2009)는 실행충실도의 개념적 다차원성을 강조하되 모든 차원의 일률적 평가가 아닌 중재 요소와 관련된 측면에 초점을 맞추어야 한다고 조언한다.
다차원적 개념의 실행충실도 평가는 연구 환경에서 독립 변인인 특정 중재가 다른 중재, 또는 중재가 적용되지 않는 일상적 상황과 차별화되는 특징을 확인하여 연구의 내적 타당도를 강화하는 데 기여한다(Gage et al., 2020; Sanetti & Kratochwill, 2009). 하지만 연구 상황이 아닌 환경에서도 실행충실도 평가는 유용한 정보를 제공한다. 학교에서 실시되는 SWPBIS 실행충실도 평가는 학교 단위로 핵심 요소에 관한 현재 실행 수준을 확인하고 실행계획 수립과 개선에 반영한다(Horner, Sugai, & Fixsen, 2017). 특히 실행충실도 평가도구는 각 중재 요소와 관련된 실행 과제를 구체적으로 제시하고 있어 학교 관계자가 실행지침으로 유용하게 참고할 수 있다.
SWPBIS의 실행충실도 평가도구는 다양한 형태로 개발되어 있다. 대표적으로 미국 연방 교육부의 재정지원에 기초하여 기술지원센터로 설립된 Center on PBIS(2020)는 다양한 연구자와 함께 여러 가지 평가도구를 개발하여 온라인 기반 자료관리체계와 함께 공유하고 있다. 특히 최근 개발된 schoolwide PBIS Tiered Fidelity Inventory(TFI; Algozzine et al., 2019)는 다층예방적 행동지원체계의 실행충실도를 자기 보고식 평정척도로 측정하며, 학교팀이 각 수준별 예방체계의 점진적 도입을 준비하고 실행하는 데 유용한 지침으로 활용될 수 있다. 국내에서도 SWPBIS 실행충실도 개발 연구가 증가하고 있다. 예를 들어 남동미 등(2020)은 국내 실정을 고려하여 보편적 지원의 실행충실도 척도(KIFC-T1)를 교사 수준의 자기보고형 평가도구로 개발하고, 타당화를 위한 실증적 근거를 제시하였다. 또한, 김제린, 홍주희(2022)는 TFI의 보편적 지원 섹션을 번역하고 국내 학교 환경에 맞게 수정 및 보완하였다.
이처럼 국내외에 걸쳐 다양한 SWPBIS 실행충실도 평가도구가 개발되어 있지만, 국내 학교에서 활용 가능한 평가도구는 여전히 제한적이다. 최근 특수학교를 시작으로 SWPBIS의 도입이 확대되고, 효과적 실행을 위한 기술적 지원에 대한 요구가 증가하면서 국내 학교 환경에 적합한 실행충실도 평가도구 개발의 중요성이 더욱 강조되고 있다(남동미 등, 2020). 이에 본 연구는 국내외에서 개발된 SWPBIS 실행충실도 평가도구를 살펴보고자 하며, 특히 다층예방체계 도입과 실행의 기반 환경을 제공하는 보편적 지원에 집중하고자 한다. 다층예방체계에서 상위 수준의 지원은 대상 학생을 보편적 지원에서 분리하는 것이 아니라 학생의 개별 요구에 적합한 중재 전략을 보편적 지원에 추가하는 것이다(Horner & Sugai, 2015). 결과적으로 보편적 지원의 적절하고 지속적인 실행을 통해 긍정적 영향을 받은 학생이 증가하면 상위 수준의 지원체계가 필요한 학생이 장기적 차원에서 감소하며, 학교는 한정된 비용과 인력을 효율적으로 사용할 수 있다. 최근 연구(Kittelman et al., 2022; Van Camp et al., 2021)는 보편적 지원의 실행충실도가 적절한 수준으로 2 ∼ 3년 이상 확인된 후 상위 수준의 지원체계를 순차적으로 도입할 것을 제안한다. 이에 따라 본 연구는 SWPBIS 보편적 지원(이하 보편적 행동지원) 실행충실도 평가도구를 도구적 특징과 평가 내용에 대해 다각적으로 살펴보고, 국내 보편적 행동지원 실행충실도 평가도구 개발 및 적용에 관한 시사점을 도출하고자 한다.
Ⅱ. 연구 방법
국내외에서 체계적 연구에 기초하여 개발된 SWPBIS 실행충실도 평가도구를 선정하고자 다음과 같은 기준을 고려하였다. 첫째, 각급 학교 환경에 적용 가능한 도구를 포함하고, 실행 환경의 이질성을 고려하여 영·유아교육 기관 대상이나 교정 및 기숙 시설 대상의 SWPBIS에 관한 실행충실도 도구는 제외하였다. 둘째, 보편적 지원을 학교 수준에서 실행하는 데 활용될 수 있는 실행충실도 평가도구를 선정하였고, 학급 차원의 평가도구는 제외하였다. 셋째, 행동지원과 관련된 평가도구에 한정하고, 학업성취, 정신건강 등을 지원하기 위해 SWPBIS를 확장한 다층예방적 지원체제에 관한 평가도구(예: Interconnected Systems Framework-Implementation Inventory)는 제외하였다. 또한, 행동지원에 관한 별도의 하위 영역을 포함하더라도 SWPBIS를 포괄적으로 반영하는 데 한계가 있는 경우(예: Academic and Behavior Response to Intervention School Assessment) 포함하지 않았다. 넷째, 측정학적 특징에 관한 실증적 연구가 최소한 1개 이상 있는 평가도구를 선정하였다.
학술논문 검색 엔진을 활용하여 국내외 연구에서 활용된 SWPBIS 실행충실도 평가도구를 조사하였다. 해외 문헌의 경우 ERIC과 Google Scholar를 통해 검색어 조합(1 ＝ PBS, PBIS, “positive behavior support”, “positive behavioral interventions and supports”; 2 ＝ fidelity, integrity)을 활용하였다. 논문검색 결과 총 24,696개(2022년 6월 기준 키워드별 논문 개수의 합산)의 실행연구 및 문헌 연구 등에 관한 논문이 확인되었고, peer-review journal에 출간된 논문에 한정하여 논문의 초록, 방법론, 참고문헌을 살펴보아 총 35개의 평가도구를 확인하였다. 첫 번째 기준과 관련하여 영유아 교육기관(5개), 가족지원(1개)이나 기숙 및 교정시설(2개)에 관한 평가도구가 제외되었고, 두 번째 기준에 따라 정신건강(1개), 다문화 환경(1개), 읽기(3개), 기타 학업적 요구(3개)를 지원하기 위한 실행충실도 평가도구가 제외되었다. 또한, SWPBIS 실행충실도 평가도구 중 학급 차원의 실행(1개), 표적집단 지원 또는 개별 지원(3개), 특정 구성 요소나 중재(5개)에 한정된 평가도구가 제외되었다. 마지막으로 평가도구의 측정학적 특징에 대한 실증적 정보가 부족한 평가도구(3개)가 제외되었다. 총 7개의 평가도구가 선정기준에 부합하였다.
국내 문헌의 경우 RISS와 중앙도서관 검색 엔진을 통해 검색어 조합(1 ＝ 충실도, 질적지표, 평가; 2 ＝긍정적 행동지원)으로 관련 논문을 검색하였다. 국내학술 논문(학위논문 제외)에 한정하여 총 626개의 논문이 확인되었고, 추가 검토를 거쳐 총 6개의 평가도구가 1차 판별되었다. 이 중 영유아 교육기관을 대상으로 한 경우(3개), 개별지원(1개), 해외 문헌 조사와 중복된 경우(1개)를 제외하고 국내에서 개발된 1개의 평가도구가 분석에 포함되었다. 국내외를 망라하여 최종적으로 총 8개의 평가도구가 분석되었다.
BoQ(Kincaid, Childs, & George, 2010)는 보편적 행동지원에 관한 학교팀 기반 실행충실도 평가도구로 10개 영역(예: PBIS 팀), 53개 문항으로 구성되어 있다. 본 연구는 BoQ의 모든 문항을 분석에 사용하였다. BoQ는 문항별로 다양한 척도(2∼4점 척도)로 채점된다. 최종 점수는 전체 및 영역별 총점에 대한 백분율 점수로 산출되고, 적절한 실행충실도 판단 기준은 70%이다. 선행연구(Cohen, Kincaid, & Childs, 2007)에서 BoQ는 양호한 수준의 내적 일치도(α ＝ .96), 재평가 신뢰도(r ＝ .94, p ≤ .01; 97% 일치), 평가자 간 신뢰도(r ＝ .87, p ≤ .01; 89% 일치), SET 점수와의 정적 상관관계를 확인하였다. 이후 Childs, Kincaid, & George(2011)는 탐색적 및 확인적 요인분석을 통해 7개 문항을 삭제하고, 학급 체계와 관련된 7개의 문항을 추가하였다. 최근 연구(Bastable, Massar, & McIntosh, 2020; Mathews et al., 2014)에서 높은 내적 일치도(전체 α ≥ .90)를 재확인하였다.
IPI는 외부 평가자를 통해 SWPBIS 실행단계별 실행충실도를 평가하며, 실행 단계별 4개 영역(준비, 시작, 실행, 지속)과 44개 문항으로 구성된다(Bradshaw et al., 2009). 본 연구의 성격을 고려하여 표적집단 지원 및 개별 지원과 관련된 4개 문항(9, 21, 34, 44)은 분석에서 제외되었다. IPI는 3점 척도(0점 ＝ 미실행 ∼ 2점 ＝ 완전히 실행)로 채점된다. 최종 점수는 전체 및 단계별 백분율 점수로 산출되며, 학교는 단계별 80% 이상 점수 달성 후 다음 단계에 집중한다. Bradshaw와 동료들은(2009)는 IPI 초기 타당화 연구에서 높은 내적 일치도(α ＝ .94), 재평가 신뢰도(r ＝ .80, p ≤ .01), 평가자 간 신뢰도(r ＝ .61, p ≤ .01), 다른 유사 도구와의 유의한 수준의 정적 상관을 확인하였다.
SAS(Sugai, Horner, & Todd, 2009)는 전체 교직원 대상 설문 형태의 SWPBIS 실행충실도 평가도구이다. SAS는 4개 영역별 행동지원체계(예: 학급 관리체계)에 관한 총 46개의 질문을 포함한다. 본 연구를 위해 개별지원과 관련된 8개 문항을 분석에서 제외하고, 학교 차원의 관리체계(이하 SW; 18문항), 학급 관리체계(이하 CW; 11개 문항), 학급 외 장소에서의 관리체계(이하 NC; 9개 문항)에 관한 3개 영역이 분석에 포함되었다. 교직원은 각 문항별 현행 수준과 개선 필요성에 대해 3점 척도(0점 ＝ 낮음 ∼ 2점 ＝ 높음)로 응답한다. 영역 및 문항별 결과는 척도별 응답 수의 비율로(예: 학급 관리체계에서 ‘미실행’ 응답은 40%) 요약되지만, 학교 차원의 행동지원체계 영역(18문항)의 경우 현행 수준에 관한 백분율 점수를 활용하여 보편적 행동지원 실행충실도 점수를 산출한다(Sugai, Horner, & Todd, 2009). 보편적 지원 실행충실도 점수가 80% 이상인 경우 적절한 것으로 판단한다(Mercer, McIntosh, & Hoselton, 2017). 선행연구(Solomon, Tobin, & Schutte, 2015)는 내적 일치도(α ＝ .82 ∼ .88)를 확인하였고, 확인적 요인분석에서 4개 요소와 상위 단일요소로 구성된 측정모형이 양호한 수준의 모형 적합도를 보였다. 다른 연구(Rice et al., 2019)도 높은 수준의 내적 일치도(α ＝ .91 ∼ .96)를 확인하고, 위계적 2수준 측정모형이 적절한 모형 적합도를 보였다.
TIC는 초기 단계에서 학교팀 주도의 실행과 점검을 지원하기 위해 개발된 보편적 지원 실행충실도 평가 도구이다(Sugai et al., 2014). TIC는 7개 영역(예: 팀 구성 및 관리) 22개 문항으로 구성되었다. 개별지원과 관련된 3개 문항(20∼22번)은 본 연구의 분석에서 제외되었다. TIC는 실행 요소별 진전도에 대한 3점 척도(0점 ＝ 아직 시작하지 않음 ∼ 2점 ＝ 성취됨)로 평가된다. 최종 점수는 백분율 점수로 계산되며, 총점이 80% 이상인 경우 적절한 것으로 판단된다(Tobin et al., 2012). Tobin 등(2012)은 TIC 3.0가 높은 수준의 내적 일치도(α ＝ .91)를 나타내고, BoQ와 유의한 수준으로 정적 상관(r ＝ .59, p < .01)을 보였음을 확인하였다. 또한, McIntosh 등(2016)은 TIC 2.0와 3.1이 혼합된 평가자료에서 높은 수준의 내적 일치도(TIC 2.0의 경우 ordinal α ＝ .94, TIC 3.1의 경우 ordinal α ＝ .93)를 재입증하였고, 확인적 요인분석을 통해 7개 요인과 상위 단일 요인으로 구성된 위계적 측정 모형의 모형 적합도가 적절한 것으로 확인하였다.
SET는 연구용으로 개발된 SWPBIS 보편적 지원의 실행충실도 평가도구이다(Sugai et al., 2001). SET는 7개 영역(예: A. 기대행동 정의 ∼ G. 지역 교육청 지원), 28개 문항으로 구성되며, 모든 문항이 분석에 사용되었다. 외부 평가자가 3점 척도(0점 ＝ 미실행 ∼ 2 ＝ 실행)에 따라 채점한다. 최종 점수는 전체 및 영역별 백분율 점수로 계산되며, 총점 및 기대행동 교수 영역의 백분율 점수가 모두 80% 이상인 경우 적절한 실행으로 판단된다. 선행연구(Horner et al., 2004)는 내적 일치도(전체 α ＝ .96), 재검사 신뢰도(14∼20일 간격; 영역별 92.3∼100% ; 전체 97.3%), 평가자 간 일치도(전체 99%), 준거 타당도(SAS와 r = .75, p ≤ .01), 변화에 대한 민감도(연수 후 6개월 이상 경과: t = 7.63, df = 12, p ≤ .001)를 확인하였다. 다른 연구(Vincent, Spaulding, & Tobin, 2010)에서 SET는 안정적인 내적 일치도(학교 유형별 α ＝ .840 ∼ .899)와 TIC의 유사 영역별 점수와 유의한 정적 상관을 보였다.
SAPR(Walker, Cheney, & Horner, 2012)은 학교팀 주도의 실행과 점검을 위해 개발된 SWPBIS 실행충실도 평가도구이다. SAPR은 다층예방적 행동지원체계를 반영한 10개 영역(예: 9. 중재 프로그램 개발에 대한 파트너로 가족 참여)에서 총 62개 문항(예: 9.1 가족이 팀 구성원으로 포함되고, 회의에 참석함)을 포함한다. 본 연구를 위해 표적집단 지원 및 개별 지원과 관련된 32개 문항(2.1∼2.6, 6.1∼6.6, 7.1∼7.5, 8.5, 8.6, 9.1∼9.5, 10.1∼10.8)은 분석에서 제외되었다. 각 문항은 5점 척도(1점 = 미실행 ∼ 5점 = 완전히 실행)로 채점된다. 전체 점수는 전체 또는 영역별 백분율 점수로 계산되며, 80% 이상인 경우 적절한 것으로 판단된다. Walker, Cheney, Stage(2009)는 초기 타당화 연구(10개 영역 61개 문항)에서 전문가(n ＝ 18) 설문을 통해 모든 문항이 SWPBIS의 핵심적인 증거기반실제를 평가하고 있음을 확인하고, 실제 평가자료를 기초로 양호한 수준의 전체 문항(α ＝ .96) 및 영역별(α ＝ .76 ∼ .95) 내적 합치도를 검증하였다. 또한, 적정성 기준점수인 80%를 기준으로 학교별 SET와 SAPR 하위 영역 점수를 비교하여 71%의 하위 영역 간 결과가 일치함을 제시하였다.
TFI(김제린, 홍주희, 2022; Algozzine et al., 2019)는 학교팀 기반 SWPBIS 실행충실도 평가도구로 다층예방적 행동지원체계를 반영하여 3개 영역(예: 표적집단 지원), 10개 하위영역, 45문항으로 구성되어 있다. 본 연구를 위해 보편적 지원에 관한 15개 문항이 분석에 사용되었다. 각 문항은 3점 척도(0점 ＝ 미실행 ∼ 2점＝ 완전히 실행)에 따라 채점된다. 최종 점수는 전체 및 영역별 백분율 점수로 계산되며, 70% 이상인 경우 적절한 것으로 판단된다. McIntosh 등(2017)은 내용 타당도(전체 CVI ＝ .92), 사용도(예: 평가 절차가 쉽고 직관적이라는 데 100% 동의), 평가자 간 신뢰도(ICC ＝ .99), 평가-재평가 신뢰도(ICC ＝ .99), 내적 합치도(α ＝ .76 ∼ .95)와 타 유사평가도구(예: BoQ, SAS, TIC, BAT)와 유의한 수준의 정적 상관을 입증하였다.
KIFC-T1(남동미 등, 2020)은 국내 학교 실정을 고려하여 최근에 개발된 보편적 지원의 실행충실도 평가도구로 5개 요인(예: 보편적 지원 계획 및 실행), 35개 문항으로 구성되어 있다. 본 연구를 위해 모든 문항이 사용되었다. 개별 교사가 소속 학교의 보편적 지원과 관련된 경험을 바탕으로 3점 척도(1점 ＝ 미실행 ∼ 3 ＝ 실행)를 활용하여 채점한다. 남동미와 동료들(2020)는 KIFC-T1의 개발 및 타당화 연구에서 우수한 내적 합치도(전체 α ＝ .96) 및 타 유사평가도구(예: 긍정적 행동지원 평가도구; 김영아, 2018)와 유의한 수준의 정적 상관을 확인하였다.
<그림 1>은 본 연구의 분석 절차를 제시하고 있다. 분석에 앞서 보편적 행동지원 실행충실도 평가도구의 매뉴얼(2022년 6월 기준 가장 최근에 공유된 개정판)과 관련 연구를 수집하였다. 각 도구별 문항 중 보편적 지원과 관련된 문항(총 258)을 선별하고, 각 문항의 본문, 채점기준 등을 국내 관련 연구(예: 김제린, 홍주희, 2022; 남동미 등, 2020; 정광범 등, 2019)를 참고하여 한국어로 번역하되, 문항 분석은 정확한 이해를 위해 번역문과 원문을 모두 참고하였다.
본 연구는 크게 보편적 지원 실행충실도 평가도구의 도구적 특징과 내용적 측면을 조사하였다. 보편적 지원 실행충실도 평가도구의 도구적 특징에 관한 조사는 평가 매뉴얼이나 관련 연구를 참고하여 평가도구별 사용 목적, 평가 방법, 평가 척도, 실행 적절성 기준점수, 평가도구 구성, 접근성을 살펴보았다. 뒤이어 평가도구의 내용적 측면이 문항(본문, 채점기준 등)을 중심으로 <그림 1>에서 제시된 순서에 따라 검토되었다. 우선, SWPBIS의 기본 요소를 고려하여 사회적으로 가치 있는 성과를 얻기 위해 운영되는 실제, 체계, 자료를 중심으로 문항을 분류하였다(Sugai & Horner, 2020). 기본 요소별로 문항(특히 문항 본문 중심) 간 내용 유사성에 따라 문항을 재분류하고 공통적 특징을 부여하는 유목화를 통해 보편적 지원의 핵심 요소와 관련 문항을 판별하였다. 예를 들어 세 가지 기본 요소에 따라 TFI 문항을 분류하고(예: 실제 - 1.3, 1.4, 1.5, 1.6, 1.8, 1.9), 유사 문항의 공통 내용을 반영하여 핵심 요소를(예: 1.3, 1.4 - 기대행동 정의 및 교수) 제시하였다. 평가도구별 결과를 비교·검토하여 총 10개의 핵심 요소(예: 팀 구성과 운영, 자료 기반 의사결정)가 결정되었다. 특정 문항 내용이 복수의 핵심 요소에 중복된 경우(TFI의 1.5, 1.15, BoQ의 1, 8, 16, 21, 27, 33, 37, 38, 40, 51, IPI의 35, KIFC의 6, TIC의 1, 5, 18, SAPR의 4.4, 5.4, 8.2, SAS의 SW17, NC1, NC2, NC4, NC8, NC9, SET의 A1, F8) 해당 요소에 관련 문항을 모두 포함하되, 이후 분석에서 중재 요소의 성격을 고려하였다.
핵심 요소별 개별 문항은 Dane과 Schneider(1998)의 관점을 반영하여 다차원적 측면에서 분석되었다. 앞에서 논의된 5가지 측면 중 준수와 프로그램 차별성 측면은 본 연구의 성격을 고려하여 분석에 반영되지 않았다. 중재 요소의 실제 실행 수준에 관한 준수의 측면은 문항별 평정척도로 측정되고, 최종적으로 적절히 실행되고 있는 중재 요소의 비율(백분율)로 보고된다(van Dijk et al., 2020). 따라서 준수의 측면은 평가 내용이 아닌 측정 및 해석과 밀접하게 관련된다. 또한, 프로그램 차별성 측면은 실험집단에 제공된 중재와 통제집단이 노출된 환경의 차이를 측정하지만(Dane & Schneider, 1998), 동일 중재에 관한 복수의 실행충실도 평가도구를 분석하는 본 연구에 적용하기 어렵다. 이에 본 연구는 문항별 다차원적 분석을 위해 다음 세 가지 측면을 고려하였다.
첫째, 양적 측면은 각 문항에서 중재 요소의 시간, 빈도, 양 등을 측정한다. 특정 중재의 모든 요소가 양적 측면으로 평가될 수 없으나, 대부분의 중재는 일부 요소에 대해 최소한의 양적 기준을 제안한다(Gage et al., 2020). 본 연구는 보편적 지원의 핵심 요소를 적절히 실행하기 위해 각 평가도구에서 제안한 중재 요소의 양적 기준을 조사하되, 절대적 수치(예: 월 1회) 이외에도 양을 가늠하게 하는 모든 표현을(예: 대부분) 포함하였다. 둘째, 질적 측면은 중재 제공자가 중재 내용을 전달하는 방식이나 태도가 이론적 원리에 얼마나 부합하는지를 측정한다(Dusenbury et al., 2003). 이러한 관점을 확장하여 관련 연구(Cross et al., 2015; Waltz et al., 1993)는 중재 제공자가 갖추어야 할 자질과 역량을 실행충실도의 개념적 요소로 강조하였다. 다만, 질적 측면은 양적 측면에 비해 광범위하게 정의되는 경향이 있다(Gage et al., 2020). 명확한 분석을 위해 SWPBIS의 실행 참여자인 학교팀 구성원과 교직원에게 기대되는 참여 수준(예: 관리자가 모든 회의 참석), 역량(예: 학교 관리자에 대한 기대 역량), 참여 수준 또는 역량 강화를 위한 지원 전략(예: 교직원 연수, 교직원과 학생 자료 공유)에 초점을 맞추어 질적 기준을 살펴보았다. 셋째, 반응성 측면은 중재 대상자가 중재를 통해 전달된 내용을 이해하고 적용할 수 있으며, 실생활에서 실천하고 있는지 점검한다(Bellg et al., 2004; Gage et al., 2020). 각 문항에서 학생의 적극적 중재 참여(예: 팀 구성원으로 학생 대표 포함), 중재를 통해 전달된 내용에 관한 학생의 이해 수준(예: 기대행동을 말할 수 있음), 중재의 실행과정에 따른 학생 행동 개선 점검에 초점을 맞추어 조사하였다. 또한, 가족, 지역사회 관계자 등 학생 주변인의 참여를 위한 학교 지원이 강조되므로 학생 주변인을 중재 대상자로 보고 반응성 측면에서 관련 문항을 분석하였다.
문항별 다차원적 분석이 앞에서와 같이 실시된 후 핵심 요소별 문항을 각 문항의 본문, 채점기준 등 모든 세부 내용을 고려하여 내용 유사성에 따라 문항을 분류(문항 내용의 복잡성에 따라 중복 허용)하고 공통적 특징을 부여하여 2차 유목화를 실시하였다. 결과적으로 총 60개의 하위 요소(예: 정기적인 팀 운영)가 판별되었고, 하위 요소별 관련 문항이 확인되면서 다차원적 측정 내용도 하위 요소에 따라 정리되었다. 마지막으로 분석 결과의 적절성 여부를 확인하기 위해 관련 전문가의 검토가 이루어졌다. 검토 전문가는 특수교육 전공 박사학위를 가지고, 현재 A시 교육청 긍정적 행동지원 관련 업무를 담당하고 있다. 해당 전문가는 분석에 포함된 모든 문항(원문, 번역문 모두 포함)과 분석 절차에 관한 상세한 설명을 참고하여 분석의 적절성을 약 3주간 검토하였고, 다차원적 문항 분석 내용에 모두 동의하였다. 하지만, 문항 분류와 관련하여 복수의 핵심 요소에 중복되는 문항에 관한 재검토를 요청하였고, 추가 수정이 이루어졌다.
Ⅲ. 연구 결과
<표 1>은 보편적 지원 실행충실도 평가도구의 특징을 제시하고 있다. 사용 목적은 크게 연구 활용과 학교 활용으로 구분되며, 연구 활용을 위해 개발된 SET 또한 학교 단위의 실행충실도를 점검하고 평가하는 데 활용될 수 있다. 이외에도 SAS는 실행 수준과 개선의 필요성에 관한 교직원의 전반적인 인식을 이해하고자, IPI는 SWPBIS 실행단계 확인 및 단계별 실행계획 수립을 위해 활용된다. 연구 활용을 고려한 SET의 경우 객관적 위치에 있는 외부 평가자가 주도적으로 자료를 수집하고 점수를 결정하지만, 학교 활용을 고려한 대부분의 평가도구는 학교팀이나 교직원에 의해 점수가 결정된다. 하지만 자기평가의 한계를 고려하여 IPI의 경우 코치 등 기술적 지원을 제공하는 전문가에 의해 평가가 실시되며 BoQ와 TFI의 경우 팀이 코치와 함께 평가하도록 권장되고 있다.
모든 평가도구가 평정척도를 활용하는데, 대부분 3점 척도를 적용하고 있다. 하지만 SAPR은 5점 척도를 적용하며, BoQ는 문항별로 서로 다른 점수를 부여한다. 또한, 정확하고 일관성 있는 점수 부여를 위해 대부분의 평가도구는 척도별 채점 기준을 제시하거나(BoQ, SET, TFI), 문항에 따라 추가 설명을 제시한다(IPI, SAPR, TIC). 하지만, 교직원 대상 설문으로 평가가 이루어지는 SAS와 KIFC T1의 경우 상세 설명을 추가하는 대신 간결하고 명확하게 문항을 제시하고 있다. 또한, 대부분의 평가도구가 실행 적절성 판단을 위한 기준점수를 백분율 점수로 제시하고 있으나, 최근에 개발된 KIFC T1의 경우 아직 기준점수가 결정되지 않았다. 평가도구 구성을 살펴보면 다수의 평가도구가 평정척도 이외에도 목적, 대상, 시기, 평가·채점·활용 방법 등을 안내하고 유용한 양식(예: 실행계획서 양식)을 제공하고 있다. 마지막으로 접근성과 관련하여 SAPR을 제외한 모든 평가도구가 특정 사이트나 학술 논문을 통해 무료로 배포되고 있다.
<부록 1>은 보편적 지원의 실제, 체계, 자료와 관련된 핵심 요소, 하위 요소, 관련 문항을 문항별 다차원적 분석 결과와 함께 제시한다. 첫 번째 핵심 요소인 기대행동 정의와 교육에 관한 하위 요소(1∼11)는 기대행동 정의와 관련된 5개 하위 요소(예: 긍정문으로 명확하게 정의된 기대행동 및 장소별 규칙)와 기대행동 교육과 관련된 6개 하위 요소(예: 기대행동 교육을 위한 공식 일정과 교육계획 수립)를 포함한다. 다차원적 문항 분석 결과를 살펴보면, 중재 요소의 양적 측면은 기대행동 및 장소별 규칙의 개수(예: 상황별 5개 이하), 기대행동의 적용 범위(예: 교내 모든 장소 적용), 시각적 자료 게시 장소(예: 교실 및 3개 이상의 공용장소), 기대행동 및 규칙 (재)교육의 시기(예: 연중 상시), 교육 장소(예: 교내 모든 장소), 교육 빈도(예: 연 1회 이상), 교수전략 개수(예: 3개 이상의 교수전략)를 측정한다. 질적 측면은 교직원 대상 정보 제공(예: 모든 교직원과 행동규칙 안내표 공유), 교직원의 기대행동 인식 수준(예: 교직원이 기대행동을 알고 있음), 교직원의 실행 관련 의사결정 참여(예: 기대행동에 관해 교직원 다수가 의견 제공), 교육 참여 수준(예: 교직원이 기대행동 교육에 참여)을 측정한다. 반응성 측면의 경우 학생 현행 수준을 고려한 교육(예: 학생 자료 검토를 통해 기대행동 재교육 결정), 학생의 선호 및 관심 반영(예: 학생 눈높이에 맞는 규칙), 학생의 실행 관련 의사결정 참여(예: 학생의 교육과정 및 수업지도안 개발 참여), 학생의 이해 수준(예: 학생이 기대행동을 알고 있음)이 측정되고 있다.
<부록 1>에서 기대행동 강화와 관련된 하위 요소(12∼18)는 공식적 강화체계 확립, 학생 흥미를 고려한 강화체계 개발 등을 포함한다. 기대행동 강화는 양적 측면에서 강화체계 운영 기간(예: 1년 내내), 신입(전학)생 대상 강화체계 안내 기간(예: 연간 상시), 기대행동 연계 구어적 피드백 제공 빈도(예: 강화 제공 때마다 항상), 문제행동 교정에 대한 강화의 상대적 빈도(예: 4배 이상)를 측정한다. 질적 측면은 강화체계에 대한 교직원 참여 수준(예: 90% 이상 교직원이 강화 제공)을 강조하며, 반응성 측면은 학생 흥미를 반영한 프로그램(예: 강화물 판별에 학생 참여)과 학생의 강화 경험(예: 50% 이상 학생이 강화 받음)을 측정한다.
<부록 1>에서 문제행동 관리의 하위 요소(19∼23)는 공식적 문서로 명확히 기술된 문제행동 정의와 관리절차, 문제행동 관리절차에 관한 학부모·학생·교직원의 정확한 이해, 공식적 위기관리계획 수립 및 교직원의 정확한 이해 등을 포함한다. 다차원적 분석 결과를 살펴보면 양적 측면(예: 문제행동 유형 범위, 위기관리계획의 적용 범위)에 비해 학교 구성원의 이해와 준수를 강조하는 질적 측면과 반응성 측면이 중점적으로 측정되고 있다. 질적 측면은 교직원의 문제행동 관리 정책(위기관리계획 포함)에 관한 인식과 일관성 있는 실행 수준, 문제행동 관리와 관련된 법규에 관한 학교 종사자의 인식 수준을 측정한다. 반응성 측면에서 학생과 학부모의 문제행동 관리정책에 관한 정확한 이해를 강조하며, 이와 관련된 지원 방안(예: 정보 공유, 모국어 설명)이 측정된다.
<부록 1>에서 교내 모든 장소로 연계된 행동 지원에 관한 하위 요소(24∼27)는 학교 차원의 체계와 연계한 학급 차원의 보편적 지원 실행, 교실 환경의 재구조화 등을 포함한다. 해당 요소는 양적 측면에서 부적절한 행동에 대한 교정에 대한 강화의 상대적 빈도(예: 4배 이상)와 학생 행동 및 관리상황에 관한 자료 검토 빈도(예: 연 4회)를 측정하고, 반응성 측면에서 학업 성취율(예: 75% 이상)을 측정한다. 특히 대부분 문항이 질적 측면에서 학급 및 교직원의 실제 참여 수준(예: 75% 이상 학급에서 거의 모든 교사가 참여함)을 측정한다.
<부록 1>에서 보편적 지원의 체계와 관련된 4가지 핵심 요소(5∼8) 중 팀 구성 및 운영에 관한 하위 요소(28∼33)는 보편적 지원 실행을 위한 학교팀 조직, 팀 구성원으로 포함된 학교관리자 및 전문가 등을 포함한다. 해당 요소는 양적 측면에서 팀 회의 빈도(예: 월 1회 이상)를 측정하며, 반응성 측면에서 가족이나 학생 대표를 팀 구성원으로 포함하고 있는지 확인한다. 질적 측면은 팀 구성원(관리자, 코치 포함)이 갖추어야 할 자질(예: 전문지식과 실무경험을 갖춘 구성원), 성격(예: 대표성), 참여 수준(예: 80% 이상 회의 참석), 학교팀에 관한 교직원 인식, 팀 구성원 역할에 관한 팀 구성원 인식을 측정한다.
<부록 1>에서 교직원 전문성 강화 지원에 관한 하위 요소(34∼41)는 공식적 연수 일정 및 계획, 보편적 지원의 구성요소에 관한 교직원 연수 등을 포함한다. 관련 문항을 살펴보면 교직원 지원에 초점을 맞추고 있어 반응성 측면을 측정하고 있지 않다. 양적 측면은 연수 대상 범위(예: 전체 교직원 대상), 연수 빈도(예: 연 1회 이상), 코치의 방문 및 지원 빈도(예: 월 2회 이상 방문)를 확인하며, 가장 많이 고려된 질적 측면은 연수 주제(예: 기대행동 및 규칙 교육), 교직원 대상 공식적 재교육 제공, 전입·복직 교사와 학교팀 구성원 대상 연수, 코치 역량(예: SWPBIS, 행동이론 등에 관한 지식), 실행 자료 및 도구 개발(예: 매뉴얼), 연수 프로그램에 관한 교직원 의견 수렴 및 교직원 이해도 점검을 측정한다.
<부록 1>에서 학교 구성원의 참여와 몰입 조성의 하위 요소(42∼47)는 학교 및 교육청 차원의 공식적·명시적 지지, 학교 관리자의 실행 의지와 참여, 교직원의 지지와 몰입 등을 포함한다. 다차원적 분석 결과를 살펴보면 해당 요소의 성격상 반응성 측면은 반영되지 않았다. 양적 측면은 학교 정책상 중요도(예: 3가지 우선순위 중 하나), 실행계획 수립 빈도(예: 연 1회 이상), 실행계획과 준비를 위한 사전 회의 빈도(예: 학기 전 2회 이상)를 측정한다. 질적 측면은 학교 관리자에게 기대되는 역할(예: 관리자 의지 전달), 교직원 참여 수준(예: 3년 이상 SWPBIS 전념), 교육청에게 기대되는 역할(예: 코칭 및 연수)을 측정한다.
<부록 1>에서 피드백 관리체계의 하위 요소(48∼51)는 교직원 뿐 아니라 학생 및 관련인(학부모, 지역사회)을 대상으로 하며, 의견 수렴을 통한 의사결정 참여 기회 제공과 함께 의사결정에 도움이 되는 자료나 정보 제공을 강조한다. 다차원적 측면을 살펴보면 모든 요소가 양적 측면을 평가하되, 교직원 대상인 경우 질적 측면을, 학생 및 관련인 대상인 경우 반응성 측면을 중점적으로 측정한다. 양적 측면은 교직원 또는 학생 관련자와의 자료 공유 빈도(예: 연 3회)와 교직원 또는 학생 관련인의 의견 제공 빈도(예: 연 1회 이상)를 측정하고, 질적 측면은 교직원과 공유될 자료 유형(예: 문제행동 보고자료), 자료 공유를 통한 교직원 인식 변화(예: 문제행동 발생 현황을 알게 됨), 주제별(예: 기대행동 및 규칙) 교직원 의견 제시 여부를 측정한다. 반응성 측면에서 학생 및 관련인 대상 공유가 필요한 정보(예: 보편적 지원 특징), 학생 및 관련인 의견 반영이 필요한 주제(예: 보편적 지원 기반체제)를 확인한다.
<부록 1>은 보편적 지원의 자료와 관련하여 2개 핵심 요소(9∼10)를 제시하며, 그 중 문제행동 보고자료 수집과 분석을 위한 자료관리체계 구축에 관한 하위 요소(52∼54)는 문제행동 보고자료 수집 절차, 문제행동 보고자료의 분석과 시각화 등을 포함한다. 다차원적 측면을 살펴보면 양적 측면은 문제행동 보고자료 분석 및 공유 빈도(예: 월 1회 이상)를 확인하고, 질적 측면은 교직원에게 기대되는 보고서 작성 수준(예: 문제행동 보고서를 적절히 작성), 자동화된 데이터베이스에 대한 교사 접근성(예: 입력 자료 및 시각화된 결과에 즉각 접근)을 측정한다. 반응성 측면은 수집되는 문제행동 및 관련 정보(예: 날짜, 시각, 장소 등), 자료 분석을 통해 검토되는 정보(예: 문제행동 빈도를 장소 등으로 구조화하여 검토)를 확인한다.
<부록 1>에서 자료 기반 의사결정에 관한 하위 요소(55∼60)는 자료 분석 결과의 공유, 검토, 활용을 강조하며, 구체적으로 문제행동 이외 다양한 자료 수집 및 검토, 실행충실도 평가 및 활용, 팀 구성원(코치 포함) 대상 자료 분석 결과 공유 등을 포함한다. 다차원적 측면을 살펴보면, 양적 측면은 실행충실도 평가 실시 빈도(예: 연 1회 이상), 교직원과 공유 빈도(예: 월 1회 이상), 자료 검토 빈도(예: 월 1회 이상), 총괄평가 실시 빈도(예: 연 1회 이상), 상위 교육청 보고 빈도(예: 연 1회 이상)를 측정한다. 질적 측면으로 팀 구성원 대상 자료 분석 결과 제공 여부를 확인하며, 반응성 측면에서 검토 자료 유형(예: 문화적 배경 정보)과 학생 자료(행동, 학업 등)의 검토를 통한 실행 평가 및 개선을 측정한다.
Ⅳ. 논의 및 제언
본 연구는 국내외에서 개발된 보편적 지원 실행충실도 평가도구의 특징을 사용 목적, 평가 방법, 평정척도, 평가도구 구성, 접근성에 관해 조사하고, 문항 내용 분석을 통해 실행충실도 평가도구가 측정하고 있는 보편적 지원의 중재 요소를 다차원적 측면에서 살펴보았다. 우선, 본 연구에서 살펴본 모든 실행충실도 평가도구는(연구 목적으로 개발된 SET 포함) 학교 차원의 실행과정을 점검하고 개선하는 데 활용될 수 있도록 개발되었고, 평가도구에 따라 다양한 기능을 제공하고 있다. 대부분 학교팀 주도의 자기 보고형 평가도구로, 사용 목적에 따라 전체 교직원이 참여하거나 외부 전문가가 주도한다. 모든 평가도구가 평정척도를 활용하며, 대부분 3점 척도(0∼2점)로 채점된다. 채점 결과는 백분율 점수로 산출되며, 실행 적절성 여부를 판단하기 위해 기준점수(예: 80%)를 제시한다. 도구별 구성의 차이는 있으나 대부분 평정척도와 함께 평가도구에 관한 정보와 실행 자료를 제공하며, SAPR을 제외한 모든 평가도구가 특정 사이트나 학술논문을 통해 무료로 배포되고 있다. 문항 분석을 통해 10개 핵심 요소와 60개 하위 요소(실제: 27개, 체계: 24개, 자료: 9개)가 확인되었고, 다차원적 문항 분석 결과 전반적으로 세 가지 측면(중재 요소의 양적 측면, 중재 제공자의 질적 측면, 중재 대상의 반응성 측면)이 골고루 평가되고 있으나, 개별 문항은 관련 중재 요소의 성격 및 기능과 관련된 차원을 집중적으로 측정하고 있었다.
본 장에서는 연구 결과를 중심으로 다섯 가지 사항을 구체적으로 논의하고자 한다. 첫째, 보편적 행동지원 실행충실도 평가도구는 도구에 따라 서로 다른 평가대상 및 방법을 적용하여 다양한 기능을 제공하였다. 예를 들어 SAS는 SWPBIS의 중재 요소별 실행 수준과 개선의 필요성에 관한 교직원 인식을 교사보고형 평정척도로 평가하며 실행에 관한 교직원의 의견과 이해 수준을 파악하는 데 주로 활용된다. 특히, 학교 수준의 행동지원체계 영역의 현행 수준에 관한 교직원 응답을 기초로 보편적 지원 실행충실도 점수를 산출하며(Mercer et al., 2017), 교직원 인식에 기반한 해석을 통해 실행에 관한 유용한 정보를 제공한다. 또한 학교 활용을 위해 여러 형태로 개발된 SWPBIS 실행충실도 평가도구는 학교가 위치한 실행단계에 따라 다양하게 활용될 수 있다(Horner, Sugai, & Fixsen, 2017). 준비 단계의 학교는 새로운 행동지원체계 도입에 있어 어떤 요구를 가지고 얼마나 준비되어 있는지를 이해하고, 학교 상황에 적합한 체계적 준비와 실행을 계획할 수 있다. 도입과 실행 단계의 학교는 SWPBIS 핵심 요소별 실행 수준을 정기적으로 점검하고 다양한 이슈와 문제를 신속히 확인하여 대처할 수 있다. 학교가 실행을 지속하는 경우 SWPBIS 실행과 성과에 관한 종합평가를 매년 실시하고 실행계획을 개선하여 장기적으로 실행환경의 변화에 유연히 대응할 수 있다. 또한, 학교 단위의 적용을 넘어 관할 학교의 SWPBIS 도입과 실행을 지원하는 교육청 등 지역 단위의 상위기관이 학교 상황을 점검하고, 적절한 지원 방안을 강구하는 데 실행충실도 평가가 유용하게 활용될 수 있다(Algozzine et al., 2019, Kincaid et al., 2010; Sugai et al., 2001).
둘째, 일부 SWPBIS 실행충실도 평가도구는 사용자 친화적인 도구 개발과 실행 환경 개선을 통해 평가도구의 활용성과 접근성을 강화하였다. 예를 들어, 코치와 함께 학교팀이 대표적으로 활용하는 BoQ(Childs et al., 2011)와 TFI 매뉴얼(Algozzine et al., 2019)을 살펴보면 평정척도 이외에도 해당 평가도구의 목적, 대상, 시기, 타당도, 평가, 채점, 활용 등에 관한 자세한 설명을 제공하며, 당장 출력하여 활용할 수 있는 면담기록지, 채점표, 실행계획서 양식 등을 부록으로 제공하고 있다. 이러한 구성은 학교팀과 코치가 해당 평가도구의 실행절차, 채점방법, 해석방법 등을 정확하게 이해하고 적절히 활용할 수 있도록 도와준다(McIntosh et al., 2017). 특히, 미국연방정부의 재정 지원에 기반하여 개발된 실행충실도 평가도구(SET, SAS, BoQ, TFI, TIC 등)는 www.PBIS.org와 www.PBISApps.org에서 무료로 다운로드 될 수 있고, 해당 사이트를 통해 각 평가도구에 관한 연수와 자료가 제공되고 있다(Center on PBIS, 2020). 특히 오레곤 대학 Education and Community Supports에서 운영하는 PBISApps는 PBISAssessment를 통해 실행충실도 평가도구의 문항별 점수 입력과 결과 산출 등 실행충실도 평가 관리를 위한 웹 기반 플랫폼을 제공하고 있다(PBISApps, 2022). 이러한 사례는 사용자가 이해하기 쉽고 적절하게 활용할 수 있는 평가도구 개발도 중요하지만, 학교 관계자가 이러한 평가도구를 쉽게 찾을 수 있고, 누구나 이용할 수 있으며, 효율적으로 관리할 수 있는 체계적 실행 환경 구축이 각 평가도구의 학교 기반 활용성을 강화할 수 있음을 보여준다.
셋째, 보편적 행동지원 실행충실도 평가도구가 공통적으로 측정하고 있는 보편적 지원의 핵심 요소는 선행연구(Filter et al., 2022; Horner & Sugai, 2015; Reinke, Herman, & Stormont, 2013)를 충실히 반영하고 있다. SWPBIS는 응용행동분석의 이론적 토대를 기초로 학교 차원의 장면에서 학생과 교사 행동을 체계적으로 변화시키기 위한 환경적 변인을 조작하여 학교 전반의 환경을 재구성한다(Horner & Sugai, 2015). SWPBIS가 제공하는 환경적 특징은 다음과 같다. 우선 모든 학생들이 경험하는 보편적 행동지원의 실제는 학교 차원의 기대행동 정의와 교수, 바람직한 행동 강화, 문제행동에 대한 일관성 있는 대처와 후속 조치를 포함하며 각 중재 요소는 학교 차원에서 모든 학급과 교사에 의해 일관성 있게 실행된다(Reinke et al., 2013). 또한, SWPBIS는 교직원의 참여 및 행동 변화를 지원하기 위한 실행 체계의 확립을 강조하며, 학교 구성원을 대표하는 팀이 구성되어 보편적 행동지원 실행을 계획하고 주도한다. 학교팀과 학교 관리자는 팀 구성원과 교직원을 위한 다양한 연수 및 기술지원을 계획하고, 학교 구성원에게 실행에 관한 의견 제시의 기회를 제공하며, 정책을 통해 학교 차원의 지지와 실행을 공식화하고, 안정적인 행·재정적 지원을 확보하기 위해 노력한다(Boden et al., 2020; Horner, Sugai, & Fixsen, 2017). 학생과 교사의 행동 변화를 위한 학교 차원의 노력은 계획, 실행, 평가로 이어지는 순환적 의사결정을 통해 체계적으로 관리되는데, SWPBIS는 효과적 의사결정을 지원하기 위해 자료의 수집과 활용을 강조한다. 학교팀은 학생 행동과 실행에 관한 자료를 효율적이고 지속적으로 수집하며 정기적인 자료 검토를 통해 환경 변화 속 시행착오와 새로운 문제를 이해하고 최선의 해결방안을 결정한다(Horner & Sugai, 2015).
넷째, 보편적 행동지원의 핵심 요소와 하위 요소를 유목화하는 과정에서 서로 다른 요소에 중복되는 문항을 재검토하였고, 실행과정에서 고려되어야 할 요소 간 기능적 관련성을 확인할 수 있었다. 예를 들어 문제행동 보고서 자료 작성 및 제출과 관련된 다수의 문항이(BoQ 8, 51, IPI 26) 문제행동 관리와 자료관리체계에 모두 관련되었다. 구체적으로 살펴보면 문제행동에 관한 자료관리체계는 교내 문제행동 관리절차가 정의하고 있는 문제행동과 관련 후속조치를 반영해야 하고, 반대로 문제행동 관리절차를 규정할 때 문제행동 자료 수집 절차와 활용 방안을 고려하여야 한다. 또 다른 예로 교직원과의 정기적 자료 공유에 관한 문항(예: 하위 요소 48, 57)은 개념적으로 피드백 관리체계와 자료 기반 의사결정 모두에 포함될 수 있지만, 각 요소에서 강조되는 기능을 고려하여 학교팀이 교직원의 의견을 수렴하고 실행 참여의 기회를 제공하기 위한 전체 교직원과의 자료 공유는 피드백 관리체계에 포함하고, 학교팀의 효과적 의사결정을 도와주기 위한 팀 구성원과의 정기적 자료 공유는 자료 기반 의사결정에 반영하였다(Boden et al., 2020; Horner, Sugai, & Fixsen, 2017). 따라서 학교 내 자료 담당자는 학교 차원에서 수집되는 자료를 전체 교직원 및 학교팀 구성원 모두와 공유하는 것이 맞지만, 기능을 고려하여 자료의 내용과 범위를 결정해야 한다. 종합해보면 SWPBIS의 실제는 성과를 위해 체계 및 자료와 상호보완적 관련성을 가지고 기능한다(Horner & Sugai, 2015).
다섯째, 개별 문항은 중재 요소와 관련된 측면을 집중적으로 측정하고 있으나, 전체 문항을 살펴보면 측정에 유리한 양적 측면에 치우치지 않고 질적 측면과 반응성 측면이 골고루 측정되고 있다. 예를 들어 교직원 전문성 강화에 관한 문항들은 대체로 교직원 역량과 관련된 질적 측면을 집중적으로 측정하지만, 보편적 지원의 체계와 관련한 문항을 살펴보면 모든 측면이 반영되어 있다. 관련 연구는(Gage et al., 2020; Sanetti & Kratochwill, 2009) 역동적 실행 장면을 타당하게 측정하기 위해 실행충실도의 개념적 다차원성이 반드시 고려되어야 하지만 모든 차원에 대한 일률적·소모적 평가가 아닌 중재 요소와 관련된 측면을 평가해야 한다고 강조한다. 이러한 측면에서 보편적 지원 실행충실도에 관한 타당한 평가는 실행충실도의 개념적 다차원성과 중재의 이론적 토대를 면밀하게 고려하여야 한다.
지금까지 논의한 바와 같이 본 연구 결과는 향후 보편적 지원 실행충실도 평가도구 개발과 활용에 유용한 정보를 제공하고, 학교팀 대상 컨설팅 제공 시 참고 자료로 활용될 수 있다. 그럼에도 연구 결과를 참고하는 데 있어 다음과 같은 연구의 제한점을 고려해야 한다. 첫째, 본 연구는 반복적 자기 검토와 외부 전문가 검토로 분석의 질을 보완하고자 하였으나, 복수 연구자에 의한 분석 및 분석의 일치도 확인 등 엄격히 통제된 분석 결과의 신뢰도에 미치지 못한다. 이에 본 연구는 분석 절차를 상세히 설명하고, 근거 문항을 세부적으로 제시하고 있으므로 결과 해석에 있어 이러한 정보를 참고할 필요가 있다. 둘째, 본 연구에 포함된 보편적 지원 실행충실도 평가도구는 가장 최근에 배포된 개정판을 포함한 것으로 개정 이전의 평가도구나 향후 개정될 평가도구와 비교하여 세부 내용에 차이가 발생할 수 있다. 셋째, 분석에 포함된 8개 도구 중 대부분이 해외에서 개발된 것으로 세부 평가 내용이 국내 학교 환경에서 동일하게 적용되지 않을 가능성이 있다. 국내에서 개발된 KIFC는 다른 도구와 마찬가지로 보편적 지원의 핵심 요소를 측정하고 있으나, 보편적 지원 실행을 위한 국가별 기반 환경의 차이는 하위 요소와 관련된 측정 내용(예: 자동화된 자료관리체계)에 영향을 미칠 수 있다(김제린, 홍주희, 2022). 따라서 본 연구 결과의 활용을 고려하는 경우 현시점에서 문화적 이질성이 미칠 수 있는 영향을 고려해야 한다.
위에서 확인된 연구의 제한점에도 불구하고 본 연구 결과는 보편적 행동지원 실행충실도 평가도구에 관한 개발 및 현장 활용을 위한 시사점을 다음과 같이 제시한다. 첫째, SWPBIS 평가도구 개발이 고려될 수 있는 국내의 경우 보편적 행동지원 실행충실도 평가도구는 여러 목적(예: 연구, 정기적 점검, 종합적 평가)과 형태(평가자, 평가방법, 문항수 등)를 반영하여야 한다. 예를 들어 연구 활용과 같이 신뢰도 확보를 위한 엄격한 측정이 강조되는 경우 외부 전문가에 의한 직접평가(관찰)가 효과적이지만, 학교 활용을 고려할 경우 관찰에 소요되는 시간과 비용을 완화할 필요가 있다. 특히, 정기적 점검 도구로 자주 활용되는 평가도구의 경우(예: TIC) 자기보고식 평정척도(간접평가)를 활용하고 문항수가 상대적으로 적다(Gage et al., 2020). 이처럼 보편적 행동지원 실행충실도 평가도구가 평가 목적에 따라 여러 방법과 형태로 개발되어 있는 경우 사용자 입장에서 평가 목적(예: 종합적 총괄평가)과 맥락(예: 다층예방적 지원체계의 도입 과정에서 보편적 지원에 집중)을 고려하여 여러 도구(예: TFI T1, SAS)를 함께 활용할 수 있다(Gage et al., 2020; McIntosh et al., 2017). 학교 현장에서 활용 가능한 실행충실도 평가도구 개발이 요구되는 국내의 경우 다양한 기능을 고려하되, 명확한 목적과 설계의 배경을 제시하여 학교 관계자의 합리적 선택과 효과적 활용을 지원하는 것이 필요하다.
둘째, 보편적 행동지원 실행충실도 평가도구의 내용 체계 및 문항 개발은 이론적 근거와 선행연구에 근거하여 핵심 요소를 구체화하되, 실행충실도의 다차원적 측면을 고려하여야 한다. 보편적 지원의 실행충실도를 함축하는 구성개념을 이론적 토대에 기초하여 조작적으로 정의하고, 이를 기초로 문항의 내용 체계와 세부 내용을 개발한다(Carney, Smith, & Hughes, 2022; Wilson, 2009). 특히, 보편적 지원의 핵심 요소와 기능적 관계가 반영된 내용 체계는 추후 평가를 통해 실행계획 수립과 개선에 유용한 정보를 제공할 수 있다. 또한, 실행충실도는 이론적으로 연구상 독립 변인에 해당하는 중재의 고유한 특성을 확인하기 위해 측정되지만, 중재의 특징은 실행 장면의 역동성을 반영하여 중재 요소의 양적 측면과 중재 참여자의 심리와 행동을 통해 설명된다(Gage et al., 2020). 이러한 실행충실도의 개념적 다차원성은 실행지침으로 중재 요소에 관한 최소한의 양적 기준을 안내하고, 교직원의 참여 및 역량과 학생 반응 및 요구에 관한 정기적 평가를 통해 이해 당사자에 관한 학교팀의 인식을 강화할 수 있다. 따라서 보편적 행동지원 실행충실도 평가도구 개발에 있어 평가의 내용 체계는 중재의 이론적 배경을 중점적으로 고려하되(Rosa, & Ridings, 2017; Wilson, 2009), 세부 내용은 실행충실도의 개념적 다차원성을 고려하여 각 중재 요소의 실행이 관련된 차원에서 결정되어야 한다(Gage et al., 2020).
셋째, 실행계획 수립, 점검, 개선에 이르는 실행의 전반적 과정에서 보편적 지원의 실행충실도 평가를 목적에 맞게 적절히 실시하고 활용하기 위해 시기별 평가계획이 구체적으로 세워져야 한다. Center on PBIS(2020)는 평가계획은 평가 목적(예: 총괄 평가)과 결과의 활용방안을 명확히 결정하는 것에서 시작되며, 실행충실도 평가가 어떤 의사결정을 내리기 위한 것인지 구체적 질문(예: 보편적 지원의 핵심 요소를 얼마나 충실히 실행하였는가? 보편적 지원의 실행충실도는 표적 집단 지원을 도입하기에 충분히 적절한가? 어떤 요소가 적절히 실행되고 있으며, 어떤 요소가 개선될 필요가 있는가?)을 제시해야 한다고 조언한다. 이어 평가 질문에 적합한 평가도구를 선택하고, 누가, 언제, 어떻게 평가자료를 수집하고 평가 결과와 개선방안을 논의하며, 향후 문서화된 평가 결과를 누구에게 보고하고 어떻게 학교 구성원의 의견을 수렴할지에 관한 구체적 전략이 계획되어야 한다. 종합해보면 학교팀은 실행계획의 전반적 운영과정에 따라 시기별(예: 실행계획 수립 후 3∼4개월 경과)로 평가의 목적(예: 실행계획의 단기목표 진행 상황 점검 및 실행전략 개선)과 관련 의사결정을 반영하여 평가 일정과 방법을 결정하며, 평가 결과의 보고와 활용에 관한 계획도 수반하여야 한다(Algozzine et al., 2019).
마지막으로 학교 현장에서 SWPBIS 실행충실도 평가를 통해 실행을 점검하고 개선해가는 새로운 평가 관행이 자리잡을 수 있도록 학교 관리자 등 학교 관계자가 실행충실도 평가를 효과적 의사결정 과정으로 인식할 수 있게 교육청을 비롯한 관련 기관의 지속적 안내와 지원이 필요하다. Center on PBIS(2020)는 평가를 일방적 책임을 강제하기 위한 조치가 아니라 평가를 통해 학교의 강점과 약점을 확인하고 실행계획과 개선에 반영하는 순환적 과정으로 실행과 효과 측면에서 지속 가능한 발전을 위해 학교와 교사에게 필요한 과정임을 설득해야 한다고 조언한다. 특히, 교육청 등 상위기관에 대한 학교의 실행충실도 평가 보고가 정책 수립이나 학교 단위 기술지원체계(예: 컨설팅)와 연계되지 않고, 단순히 예산 지원에 관한 결과 보고로 운영된다면 부정적 학교 이미지, 차년도 예산 감액 등 향후 불이익에 대한 오해와 부담으로 학교 차원의 신뢰도 있는 실행충실도 평가를 기대하기 어렵다. 더욱이 국내의 경우 학술논문으로 실행충실도 평가도구가 공개되고 있어 연구자가 아닌 학교 관계자가 필요한 평가도구를 검색하여 사용하는 데 어려움이 있고, 대부분의 특수학교가 실행충실도 평가와 활용에 익숙하지 않으므로 평가관리에 관한 연수 등 추가적인 기술적 지원이 필요한 상황이다(김제린, 홍주희, 2022). 따라서 학교 관계자가 실행충실도 평가도구의 중요성을 인식하고, 각종 평가도구에 관한 정보를 효율적으로 습득하여 정확하게 사용할 수 있도록 교육청 차원의 지속적인 연수와 안내가 필요하다. 또한, 장기적으로 지속적 평가 관리를 저해할 수 있는 현실적 장벽(예: 학교팀 대상 기술지원체계, 정보공유사이트, 자료관리체계)을 해결하기 위해 연구자, 현장 전문가, 관련 공공기관 등은 적극적 소통과 공동의 노력을 지속하여야 한다.
