Journal of Behavior Analysis and Support
Korean Association for Behavior Analysis
Article

관계틀 이론에 대한 체계적 분석

김대용1,*, 김민희2
Daeyong Kim1,*, Minhee Kim2
1건양사이버대학교 행동재활치료학과, 교수
2건양대학교 응용행동분석학과, 석사과정생
1Konyang Cyber University
2Konyang University
*교신저자: 건양사이버대학교 행동재활치료학과, 교수(kimdy@kycu.ac.kr)

ⓒ Copyright 2024, The Daesoon Academy of Sciences. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Mar 07, 2024; Revised: Apr 23, 2024; Accepted: Apr 25, 2024

Published Online: Apr 30, 2024

요약

본 연구는 발달장애인을 대상으로 하는 관계틀 이론(Relational Frame Theory, RFT) 연구의 동향을 체계적으로 검토하는 것을 목적으로 한다. 이를 위해 PRISMA 절차를 따라 1,405개의 연구 논문 중 발달장애인을 대상으로 한 RFT 관련 58편의 연구를 분석 대상으로 선정하였다. 본 연구에서는 분석 대상 논문의 발행 연도, 학술지명, 연구 참여자의 특성, 종속변인, 독립변인, 연구 환경, 실험 설계 등을 분석하였다. 관계틀 이론에 기반한 발달장애 연구 동향 분석 결과, RFT 관련 연구의 주요 종속변인으로는 파생된 관계형 반응, 언어작동행동, 조망 수용 등이, 독립변인으로는 RFT 기반 교수 전략 및 다중반응교수법 등이 자주 다루어졌다. 연구 환경은 주로 학교 등에서 이루어졌고, 연구 참여자는 대부분 자폐스펙트럼장애를 지닌 아동·청소년이었다. 본 연구를 통해, RFT가 발달장애 영역에서의 언어 및 인지 발달 지원에 기여할 수 있는 중요한 이론적 및 실천적 기반을 제공함을 확인할 수 있었다. 본 연구의 결과에 따라, RFT 관련 연구의 범위 확장과 깊이 있는 이론적 탐구의 필요성을 제언하였으며, 연구의 제한점과 향후 연구 방향에 대하여 논의하였다.

Abstract

This study aims to systematically review the global trends in developmental disability research applying Relational Frame Theory (RFT). Initially, 1,405 research articles were searched, and following the PRISMA procedure, 58 studies focusing on developmental disabilities within the context of RFT were ultimately selected for analysis. This research meticulously examined the publication year, journal name, characteristics of participants, dependent variables, independent variables, research settings, and experimental designs of the selected studies. The analysis of the global trends in RFT-based developmental disability research revealed that studies span a variety of developmental disability types, with derived relational responding and verbal operants among the primary dependent variables, and RFT-based instructional strategies frequently serving as independent variables. The research settings were predominantly in schools and therapy rooms, with most participants being children and adolescents diagnosed with Autism Spectrum Disorder. Through this study, it was confirmed that RFT provides a significant theoretical and practical foundation for supporting language and cognitive development in the field of developmental disabilities. Based on the findings, the study suggests the need for expanding the scope and deepening the theoretical exploration of RFT-related research, discussing the limitations of the current study and directions for future research.

Keywords: 관계틀 이론; 발달 장애; 체계적 검토; 자폐스펙트럼장애
Keywords: Relational Frame Theory; Developmental Disabilities; Systematic Review; Autism Spectrum Disorder

Ⅰ. 서론

1. 연구의 필요성 및 목적

관계틀 이론(RFT, Relational Frame Theory)은 언어와 인지와 같은 인간심리학의 핵심적인 주제를 설명하기 위한 현대적인 행동분석적 접근이다. 그간 행동분석에서는 Skinner(1957)가 작동적 및 수동적 조건화의 원리를 통해 언어행동(verbal behavior)을 분석하는 방법을 보여준 것을 통해 언어라는 주제에 접근해왔다. Skinner(1957)는 언어행동을 언어공동체(verbal community)에 의해 강화를 제공하도록 교육된 청자를 매개하여 강화되는 화자의 모든 행동으로 정의하였고, 맨드, 택트, 인트라버벌 등과 같은 초등언어작동행동(verbal operant)을 제시하였다.

최근 행동분석에서는 스키너가 제시한 초등언어작동행동에 대한 연구와 함께, 고등언어작동행동(higher-order verbal operent)에 대해서도 연구가 진행되고 있는데(김대용, 2022), 고등언어작동행동과 관련된 연구는 주로 네이밍 이론(Horne & Lowe, 1996)과 관계틀 이론(Hayes, Barnes-Holmes, & Roche, 2001)이 대표적이라고 볼 수 있다. 대표적인 두 이론 중 관계틀 이론은 언어와 인지와 관련된 연구를 수행할 때, 설득력 있는 설명을 제공할 수 있는 것으로 알려져 있다(Gross & Fox, 2009; Moran et al., 2015).

관계틀 이론의 주된 토대는 파생된 관계형 반응(derived relational responding)에 대한 연구이다. 파생된 자극 관계(derived stimulus relations)는 명시적인 교육을 통해 형성된 관계와는 다르게, 교육되지 않고 형성된 관계를 의미한다. 대표적으로 Sidman(1971)의 연구를 통해 잘 알려진 자극동등성(stimulus equivalence)이 파생된 관계형 반응의 기초가 된다. 선행 연구에서는 매칭(matching to sample), 에코익(echoic), 청자기술(listener skill)를 결합하면, 새로운 매칭, 택트(tact), 텍스츄얼 관계(textual relations)가 생성된다는 것을 보여주었고 이와 같은 현상을 자극동등성이라고 한다(Sidman, 1971; Sidman & Cresson, 1973; Sundberg, 2019 재인용). 자극동등성 현상은 반사성(reflexivity), 대칭성(symmetry), 전이성(transitivity)이라는 세 가지의 속성을 가지고 있다고 알려져 있다(Sidman & Tailby, 1982; Sidman, 1986).

최근 연구에서는 자극동등성과는 다르게 자극의 물리적인 속성이나 자극에 대한 직접적인 경험과는 상관 없이 맥락적 단서에 기반하여 관계가 생성되는 것을 확인하였는데 이를 임의적으로 적용 가능한 관계 반응(AARR, Arbitrarily Applicable Relation Responding)이라고 명명하였다(Steele & Hayes, 1991). 더불어 기존에 파생된 자극 관계의 속성을 설명하는 용어인 반사성, 대칭성 및 전이성은 AARR과 같은 모든 파생된 자극 관계에 적용하기에 어렵기 때문에 상호수반(mutual entailment), 조합수반(combinatorial entailment), 기능전이(transformation of stimulus functions) 등의 용어를 제시하였다. 상호수반은 A와 B가 관련이 있다면, B와 A의 관계가 파생된다는 것이다. 조합수반은 A와 B가 관련이 있고 B와 C가 관련이 있다면, A와 C, C와 A의 관계와 같이 두 가지의 관계를 결합하여 새로운 관계 또는 관계의 파생을 의미한다. 기능전이는 심리적인 기능 변화(psychological functions)를 의미하는 것인데, 예를 들어, B가 A보다 큰 상태에서 A가 혐오적인 기능을 가지고 있다면, B는 특별한 유관성이 없더라도 두 자극의 관계만으로 A보다 더 큰 혐오적인 기능을 가지게 될 수 있다는 것이다(Dougher, Hamilton, Fink, & Harrington, 2007; O’ Connor et al., 2017). 관계틀 이론은 AARR과 같이 맥락적으로 발생하고, 직접적으로 학습되지 않은 파생된 자극 관계를 설명하고 있는데, 상호수반, 조합수반 및 기능전이와 같은 속성을 토대로 조정(coordination), 반대(opposition), 비교(comparison), 구별(distinction), 지시적(deictic), 계층적(hierarchal), 시간적(temporal), 공간적(spatial) 및 인과적(causal) 등과 같은 다양한 관계 프레이밍에 대한 단위를 설명하고 있다. 더불어, 관계틀 이론에서는 AARR은 다른 유기체에게는 나타나지 않는 인간의 고유한 반응 패턴이며(Dixon & Stanlay, 2017), AARR 등의 즉각적인 출현은 인간의 언어와 명백한 관련성을 가지고 있다고 보고, 인간의 언어 연구에 이를 통합하기 위해 노력하고 있다(Hayes, Barnes-Holmes, & Roche, 2001; Hughes & Barnes-Holmes, 2015).

국외에서는 RFT에 대해 활발하게 연구가 진행되고 있다. Dymond 등(2010)은 1991년부터 2008년 사이에 총 174개의 연구를 검토하여, RFT 관련된 연구가 짧은 시간 동안 급속도로 발전해왔음을 보고하였다. O’Connor 등(2017)은 2009년부터 2016년까지 RFT 관련 연구 521편을 검토하였는데, 그 중 경험적 RFT 연구(160편)는 연구 대상과 어떠한 관계형 프레임을 연구하였는지 파악하였다. 앞선 선행연구에서 발견된 주된 특징은 Dymond 등(2010)의 연구에서는 RFT의 연구의 72%, O’Connor 등(2017)의 연구에서는 RFT 관련 연구의 57%가 전형적으로 발달한 성인을 대상으로 이루어졌다는 점과 발달장애 등과 같이 전형적으로 발달하지 않은 아동 및 성인을 대상으로도 RFT 관련 연구가 점진적으로 증가하는 추세를 보이고 있었다는 점이다. Dymond 등(2010)의 연구에서는 비전형적으로 발달하는 아동 및 성인을 대상으로 하는 연구는 10%에 불과하였으나, O’Connor 등(2017)의 연구에서는 160편 중 비전형적으로 발달하는 성인 16편, 비전형적으로 발달하는 아동을 대상으로 하는 연구가 35편인 것으로 나타나 비전형적으로 발달하는 사람에 대한 RFT의 적용이 활발해 지고 있었다. 또한 비전형적으로 발달하는 사람에 대한 연구 중 57%가 자폐스펙트럼장애 진단을 받은 사람을 대상으로 연구가 된 것은 자연스럽게 언어를 습득하기 어려운 발달장애인의 언어 발달을 이해하고 지원하는데 RFT가 유의미한 시사점을 줄 수 있음을 의미하지만, 여전히 행동분석 분야에서는 발달장애를 가진 사람을 지원을 위한 기초적인 자료가 제한적이다. 이에 따라 본 연구는 발달장애를 중심으로 한 RFT 연구를 종합적으로 검토하고 분석함으로써, 발달장애가 있는 사람들에 대한 RFT의 이론적 및 실천적 적용의 현재 상태를 이해하고, RFT가 발달장애를 가진 사람들의 언어 및 인지 발달을 지원하는 데 어떻게 기여할 수 있는지에 대한 기초적인 자료를 제공하고자 한다.

Ⅱ. 연구 방법

1. 검색 기준

본 연구의 분석대상논문의 선정은 체계적 분석 및 메타분석을 위한 권고안인 PRISMA(The Preferred Reporting Items for Systematic reviews and Meta-Analyses)에 따라 이루어졌으며(Page et al., 2021), PRISMA 절차에 따른 분석대상논문 선정 절차는 <그림 II-1>과 같다.

jbas-11-1-55-g1
그림 Ⅱ-1. PRISMA 절차에 따른 분석대상논문 선정 절차
Download Original Figure

본 연구는 국외에서 연구가 이루어진 관계틀 이론에 대한 국외 실험 논문 분석을 위해 선행 논문에 인용된 논문을 목록화하였다. 1991년부터 2008년에 연구된 관계틀 이론에 대한 인용 분석 논문 중 관계틀 이론에 대한 실험 논문은 42편이었고(Dymond et el., 2010), 2009년부터 2016년에 연구된 관계틀 이론에 대한 인용 분석 논문 증 관계틀 이론에 대한 실험 논문은 160편이었다(O’Connor et al., 2017). 즉, 선행 논문을 통해 확인할 수 있었던 1991년부터 2016년까지 관계틀 이론에 대한 국외 실험 논문은 202편이었다. 2017년부터 2023년까지 국외에서 연구가 이루어진 관계틀 이론에 대한 실험 논문 검색은 앞서 살펴본 두 편의 논문과 같이 Clarivate의 ‘Web of Science’를 사용하였다. 검색어 역시 선행 논문에서 해당 사이트에서 검색한 방법과 같이 다음의 여섯 가지 검색어(1. Topic : ‘relational frame theory’, or 2 . Topic : ‘relational frames’ or 3. Topic : ‘arbitrarily applicable relations’, or 4 . Topic : ‘derived relational responding’ or 5. Topic : ‘derived stimulus relations’ or 6. Topic : ‘arbitrarily applicable relational responding’)을 사용하였으며 기간은 2017년 1월 1일부터 2023년 12월 31일까지로 하였다. 이를 통해 검색된 해당 기간의 논문은 1,203편이었고, 관계틀 이론과 관련 없거나 영어 원문을 파악할 수 없는 논문 등을 제외한 관계틀 이론에 대한 실험 논문은 180편이었다. 1991년부터 2023년까지 관계틀 이론에 대한 국외 실험 논문 382편 중 연구 참여자에 대해 장애에 대한 언급이 없는 논문 309편, 발달 장애가 아닌 논문 15편을 제외한 58편의 논문을 관계틀 이론에 대한 국외 실험 논문 중 발달장애인인 논문으로 확인할 수 있었다.

2. 자료 분석 틀

본 연구는 국외에서 연구가 이루어진 관계틀 이론에 대한 체계적 분석을 위해 선행연구에서 제시한 분석 틀을 수정 및 보완해 각각의 요인을 확인하였다(김대용, 2022). 각 연구에서 분석한 요소는 발행연도, 학술지명, 장애와 연령을 중심으로 한 연구 참여자의 정보, 종속변인, 독립변인, 연구 환경이다. 하나의 연구에서 독립변인이 2개 이상이거나, 연구 환경이 2곳 이상인 것과 같이 두 개 이상의 요인을 통해 변인이 구성된 경우에는 중복으로 분석하였으며, 관계틀 이론에 대한 실험 논문에 대한 분석 틀 예시는 <표 II-1>과 같다.

표 II-1. 관계틀 이론에 대한 실험 논문에 대한 분석 틀(예시)
년도 학술지명 연구대상자 종속변인 독립변인 연구환경
14 2012 The Psychological Record 자폐스펙트럼장애 / 7세, 9세, 6세 / 3명 작업기억력 MET 정보 없음
Download Excel Table
3. 분석자 간 일치도

본 연구는 국외에서 연구가 이루어진 관계틀 이론에 대한 실험 논문 분석의 신뢰도를 높이기 위해 분석자 간 일치도를 측정하였다. 분석자는 제1 연구자와 제2 연구자로, 분석 전에 분석자 간에 사용하는 용어를 통일한 후 독립적으로 데이터 분석을 실시하였고 총 3차례에 걸쳐 일치도를 확인하였다. 1차적으로 각각의 연구자가 독립적으로 분석한 후, 원문을 토대로 결과를 대조하며 일치된 결과를 도출하였다. 선정된 모든 실험 논문에 대한 분석자 간 일치도를 산출하였으며, 종속변인 및 독립변인은 각각 84.3%의 일치도, 다른 변인은 모두 100%의 일치도를 보였다. 종속변인 및 독립변인의 경우 일치하지 않은 내용에 대해 협의 과정을 거쳐 합의된 내용을 최종 연구 결과로 활용하였다.

Ⅲ. 연구 결과

본 연구에서는 PRISMA 절차를 토대로 분석한 내용을 토대로 관계틀 이론에 대한 국외 실험 논문의 연도별 논문의 수와 연구 참여자가 발달장애인 연도별 논문의 수, 학술지별 발행된 논문의 수, 장애 유형별 논문의 수를 통해 일반적인 동향을 파악하였다. 이어 발달장애인을 대상으로하는 관계틀 이론에 대한 국외 실험 논문 58편에 대한 종속변인, 독립변인, 연구 환경 등에 대한 결과를 확인하였다.

1. 관계틀 이론 관련 연구의 일반적인 동향

1991년부터 2023년까지 국외에서 연구가 이루어진 관계틀 이론에 대한 국외 실험 논문 382편을 연도별로 살펴보았다. 1991년부터 2000년까지는 8편으로 연평균 0.8편, 2001년부터 2010년까지는 64편으로 연평균 6.4편이 발표되었다. 2011년부터 2023년까지는 총 310편의 논문, 연평균 24편의 논문이 발표되었는데, 1991년부터 2023년 발표된 관계틀 이론에 대한 실험 논문 382편 중 81% 이상의 논문이 2011년부터 2023년 사이에 발표되었다. 구체적인 RFT 관련 국외 실험 논문 수에 대한 변화는 <그림 III-1>과 같다.

jbas-11-1-55-g2
그림 Ⅲ-1. 관계틀 이론에 대한 연도별 국외 실험 논문과 누적 논문 수 추이(1991년∼2023년)
Download Original Figure

1991년부터 2023년까지 국외에서 연구가 이루어진 관계틀 이론에 대한 실험 논문 382편 중 발달장애인이 연구 참여자인 실험 연구를 분석하였으며 구체적인 분석 결과는 <표 III-1>과 같다.

표 III-1. 국외 관계틀 이론에 대한 실험 논문의 연구 참여자에 대한 분석 결과
연구 참여자의 장애 여부 n % 발달장애의 여부 n %
장애인 경우 73 19.1% 발달장애인 경우* 58 79.5%
발달장애가 아닌 경우** 15 20.5%
장애에 대한 언급 없음 309 80.9% - - -
- - -
- 382 100% 합계 73 100%

자폐스펙트럼장애(자폐스펙트럼장애를 동반한 중복장애 포함), 지적장애, 발달장애(지연포함)

조현병, 불안장애, 우울·불안장애, 청각장애, 학습장애, ADHD·불안·반항장애, 언어장애, 강박장애, 난독증·언어장애·파괴적행동장애, 정신증, 외상후스트레스장애

Download Excel Table

382편의 논문 중 연구 참여자에 대해 장애에 대한 언급이 없는 논문이 309편(80.9%)이었으며, 연구 참여자가 장애인 논문은 73편(19.1%)이었다. 연구 참여자가 장애인 논문 73편 중에서 연구 참여자가 발달장애인 경우가 58편(79.5%), 발달장애가 아닌 경우는 15편(20.5%)이었으며, 발달장애가 아닌 경우 주된 장애 영역은 조현병 2편, 불안장애 2편, 우울·불안장애 2편, 청각장애 2편, 학습장애 1편, ADHD·불안·반항장애 1편, 언어장애 1편, 강박장애 1편, 난독증·언어장애·파괴적 행동장애 1편, 정신증 1편, 외상후스트레스장애 1편이었다. 이를 연도별로 발표된 논문의 수에 따라 살펴보면 2005년 1편, 2007년 1편, 2009년 3편, 2010년 2편, 2011년 3편, 2012년 2편, 2013년 3편, 2014년 5편, 2015년 5편, 2016년 3편, 2017년 4편, 2018년 4편, 2019년 5편, 2020년 6편, 2021년 4편, 2022년 4편, 2023년 3편으로 나타났다. 구체적인 발달장애인 관련 RFT 관련 국외 실험 논문의 누적 증가 추이는 <그림 III-1>과 같다.

국외에서 연구가 이루어진 관계틀 이론에 대한 실험 논문 가운데 연구 참여자가 발달 대상자인 논문을 학술지별로 발행 편수를 살펴본 결과 The Psychological Record에 11편이 게재, Behavior Analysis In Practice과 Journal of Applied Behavior Analysis에 각각 10편이 게재되었다. Research in Autism Spectrum Disorders 7편, Journal of Contextual Behavioral Science 7편, Journal of Behavioral Education 3편, The Analysis of Verbal Behavior 3편이 게재되었다. Behavioral Development, Behavioral Interventions, Journal of the Experimental Analysis of Behavior는 각 2편씩 게재되었다. Journal of Autism and Developmental Disorders는 1편이 게재되었다. 학술지별로 발행된 논문의 수는 <표 III-2>와 같다.

표 III-2. 관계틀 이론에 대한 실험 논문 중 연구대상자가 발달장애인 논문의 학술지별 논문의 수
항목 n %
The Psychological Record 11 19.0%
Behavior Analysis In Practice 10 17.2%
Journal of Applied Behavior Analysis 10 17.2%
Research in Autism Spectrum Disorders 7 12.1%
Journal of Contextual Behavioral Science 7 12.1%
Journal of Behavioral Education 3 5.2%
The Analysis of Verbal Behavior 3 5.2%
Behavioral Development 2 3.4%
Behavioral Interventions 2 3.4%
Journal of the Experimental Analysis of Behavior 2 3.4%
Journal of Autism and Developmental Disorders 1 1.7%
합계 58 100%
Download Excel Table
2. 발달장애인을 대상으로 하는 관계틀 이론 연구에 대한 분석 결과
1) 연구 참여자의 장애 유형

국외에서 연구가 이루어진 관계틀 이론에 대한 실험 논문 가운데 연구 참여자가 발달장애일 때 장애 유형을 살펴보았다. 자폐스펙트럼장애인 경우는 56편으로 중복 장애가 아닌 경우 49편(72.1%), 중복 장애인 경우 7편(10.3%)로 나타났다. 자폐스펙트럼장애이면서 중복 장애인 7편은 자폐·ADHD 2편, 자폐·언어및운동장애 1편, 자폐·지적장애 1편, 연구 참여자가 자폐·학습·강박·불안·언어장애이거나 자폐·학습장애인 1편, 자폐·적대적반항장애 1편, 자폐·양극성장애·조현병 1편이었다. 지적장애인 경우는 9편으로 중복 장애가 아닌 경우 7편(10.1%), 중복 장애인 경우 2편(2.9%)으로 나타났다. 지적장애이면서 중복 장애인 2편은 연구 참여자가 지적장애·조현병·양극성조울이거나 지적장애·조현병이 1편, 지적장애·자폐 1편으로 나타났다. 발달지연인 경우는 3편(4.3%)이었으며 그 결과는 다음 <표 III-3>과 같다.

표 III-3. 관계틀 이론 실험 논문 중 연구 참여자의 장애 유형별 발행 논문의 수(중복 포함)(n, %)
항목 자폐스펙트럼 장애 지적장애 발달지연 중복장애(주 장애) 합 계
자폐스펙트럼 장애 지적장애
논문의 수 49(72.1) 7(10.3) 3(4.4) 7(10.3) 2(2.9) 68(100.0)
Download Excel Table
2) 연구 참여자의 연령

연구 참여자의 개별 연령 정보를 파악할 수 없는 논문은 58편 중 11편이었다. 한 연구에 연가 참여자가 여러 명인 경우 중복하여 분석하였다. 연구 참여자의 연령은 6~7세, 8~10세인 경우가 각각 22편(20.0%)으로 가장 많았다. 그 다음은 3~5세, 11~13세가 각각 15편(13.6%), 14~16세는 11편(10.0%), 17~19세는 9편(8.2%)이었다. 20세 이상 성인 경우는 6편(5.5%)으로 가장 적게 나타났다.

표 III-4. 국외 관계틀 이론에 대한 실험 논문에서 연구 참여자의 연령별 논문의 수 (중복 있음)
연구참여자 연령 n %
3〜5세 15 13.6%
6〜7세 22 20.0%
8〜10세 22 20.0%
11〜13세 15 13.6%
14〜16세 11 10.0%
17〜19세 9 8.2%
성인(20세 이상) 6 5.5%
합계 110 100%
Download Excel Table
3) 연구 환경

한 연구에서 연구 환경이 두 군데 이상인 경우 중복으로 확인하였다. 가장 많은 연구가 이루어진 곳은 학교 상황이었으며 총 27편(45.0%)이었다. 가정에서 이루어진 연구는 14편(23.3%), 조사실과 연구실 등과 같은 개별 공간에서 이루어진 연구는 7편(11.7%), 성인과 관련한 보호 센터 등과 치료실에서 이루어진 연구는 각각 6편(10.0%)이었다.

표 III-5. 국외 관계틀 이론에 대한 실험 논문에서 연구 환경에 따른 논문의 수(중복 포함)(n, %)
연구 환경 학교 가정 개별 공간 성인 관련 센터 치료실 합 계
논문의 수(%) 27(45.0) 14(23.3) 7(11.7) 6(10.0) 6(10.0) 60(100.0)
Download Excel Table
4) 종속변인

종속변인은 언어 및 인지 능력, 언어작동행동, 관계적 반응, 조망수용, 기타로 분류하였다. 언어 및 인지 능력으로 분류한 종속변인으로는 작업기억력(working memory), 학령기 이전 언어 척도 4판(PLS4, preschool language scales–4th edition), 자아에 대한 언어 진술(the development of self-as-context), 지능지수(WISC-5, WPPSI-IV), 상징적 놀이 기술(symbolic play skills)·가상놀이(pretend play), PEAK 프로그램 점수와 IQ 등이다. 언어작동행동은 파생된 맨드, 인트라버벌, 네이밍, 텍스츄얼, 오토클리틱(autoclitic)을 언어작동행동으로 분류하였다. 관계적 반응은 비교 등에 대한 파생되거나 임의의 관계적 반응과 관련된 연구, 기능전이의 형성과 관련된 연구, 등가성과 관련된 연구, 은유적 추론이나 은유를 이해하는 연구, 유추적 반응, 기만적 진술 감지 및 비꼬는 것 등에 대한 감지 등과 관련된 연구를 포함하여 분류하였다. 그리고 사적사건을 인식하는 연구, 위계적인 관계와 관련된 범주에 대한 연구 역시 관계적 반응에 대한 연구에 포함시켰다.

조망수용은 직접적으로 조망수용(perspective-taking skills)을 언급한 연구, 관계적 반응 중 하나인 지시적 프레이밍(deictic framing)을 종속변인으로 하는 연구, 자폐스펙트럼장애의 마음 이론(theory of mind)과 관련된 연구를 포함하여 분류하였다. 기타 항목에는 문제행동(challenging behavior), 규칙 따르기(rule-following) 및 규칙 지배 행동(rule-governed behavior)을 포함시켰다.

살펴본 내용과 같이 종속변인을 범주화한 종속변인에 따른 분석 결과를 살펴보면, 언어 및 인지 능력 6편(9.4%), 언어작동행동 11편(17.2%), 관계적 반응 34편(53.1%), 조망수용 10편(15.6%), 기타 3편(4.7%)로 나타났으며 구체적인 분석 결과는 <표 III-6>과 같다.

표 III-6. 종속변인별 발행된 논문의 수(중복 포함)
변인 항목 n %
종속변인 언어 및 인지 능력
- 작업기억력(a working memory)
- 학령기 이전 언어 척도 4판(PLS4, preschool language scales–4th edition)
- 자아에 대한 언어 진술(the development of self-as-context)
- 지능지수(WISC-5, WPPSI-IV)
- 상징적 놀이 기술(symbolic play skills)
- 가상놀이(pretend play) 등
6 9.4
언어작동행동
- 파생된 맨드(derived mands)
- 인트라버벌(intraverbal)
- 네이밍(naming)
- 텍스츄얼(textual)
- 오토클리틱(autoclitic) 등
11 17.2
관계적 반응
- 등가성(equivalence)
- 파생된 관계적 반응(derived relational responding)
- 기능 전이(transformations of stimulus funtions)
- 은유적 추론이나 은유를 이해하는 연구
- 유추적 반응(analogical relational responding)
- 기만적 진술 감지 및 반응 등
34 53.1
조망수용
- 조망 수용 능력(perspective-taking skills)
- 지시적 프레이밍(deictic framing)
- 마음 이론(theory of mind)
10 15.6
기타
- 문제행동(challenging behavior)
- 규칙 따르기(rule-following)
- 규칙 지배 행동(rule-governed behavior)
3 4.7
합 계 64 100
Download Excel Table
5) 독립변인

독립변인은 관계적 교수, 언어행동 관련 교수, 다중반응교수법(MEI), 특정 프로그램, 응용 및 실험적 방법으로 분류하였으며 구체적인 분석 내용은 <표 III-7>과 같다. 관계적 교수에는 매칭교수, 조건화된 변별 훈련(conditional discrimination training), 등가성 기반 교수, 지시적 관계를 포함한 관계적 프레임에 대한 훈련을 독립변인으로 하는 연구를 포함하였다.

표 III-7. 독립변인별 발행된 논문의 수(중복 포함)
변인 항목 n %
독립변인 관계적 교수
- 매칭교수(match to sample)
- 조건화된 변별 훈련(conditional discrimination training)
- 등가성 기반 교수(equivalence-based instruction)
- 지시적 관계 등
36 55.4
언어행동 관련 교수
- 맨드 교수
- 인트라버벌 교수
- 청자 반응 교수
- 택트 교수
6 9.2
다중반응교수법(multiple exemplar instruction or training) 13 20.0
특정 프로그램
- PEAK 프로그램
- NSD-REP(nonarbitrary same different relational evaluation protocol)
9 13.8
기타 1 1.5
합 계 65 100
Download Excel Table

언어행동 관련 교수에는 맨드 교수와 인트라버벌 교수, 청자 반응과 택트와 인트라버벌에 대한 교수를 독립변인으로 하는 연구로 포함시켰다. 다중반응교수법으로 분류한 독립변인으로는 다중 반응 교수(multiple exemplar instruction)와 다중 반응 훈련(multiple exemplar training)이다. 다중반응 교수는 관계 틀을 강화 이력을 통해 습득시키는 절차로서 관계적 교수의 일종이라고 볼 수 있으나 본 연구에서는 관계적 교수와 분리하여 분석하였다. PEAK(the promoting the emergence of advanced knowledge)와 NSD-REP(nonarbitrary same different relational evaluation protocol)와 같은 프로그램을 사용한 경우에는 독립변인의 항목 중 특정 프로그램으로 분류하였다. 실제 사물 자극을 경험하는 것을 독립변인으로 하는 연구는 기타로 분류하였다. 살펴본 내용과 같이 독립변인에 따른 분석 결과를 살펴보면, 관계적 교수 36편(55.4%), 언어행동 관련 교수 6편(9.2%), 다중반응교수법 13편(20.0%), 특정 프로그램 9편(13.8%), 기타 1편(1.5%)로 나타났다.

Ⅳ. 논의 및 제언

본 연구는 1991년부터 2023년까지의 국외에서 이루어진 RFT 실험 연구에 대한 체계적 검토를 실시하는 것을 목표로 하였다. 특히, 발달장애인을 대상으로 하는 RFT 연구의 세부적인 정보에 대해 체계적 검토를 실시하는 것을 목표로 하였다. 본 연구는 1991년~2008년 사이의 RFT 실험 연구 42편(Dymond et el., 2010), 2009년~2016년의 RFT 실험 논문 160편(O’Connor et al., 2017)을 토대로 2017년부터 2023년까지의 실험 연구를 추가적으로 검색하였고, 1991년부터 2023년까지의 총 1,405편의 연구 중 발달장애인과 관련된 RFT 연구 논문 58편을 선정하였다. 본 연구에서 분석한 연구 결과를 토대로 다음과 같이 논의 및 제언하고자 한다.

첫째, 발달장애인을 대상으로 하는 RFT 연구는 점진적으로 확대되고 있었다. 발달장애인을 대상으로 하는 RFT 연구는 1991년~2008년 사이에는 2편에 불과하였으나, 2009년~2016년에는 26편, 2017년부터 2023년에는 30편의 연구가 이루어지고 있어 발달장애인을 대상으로 하는 RFT 연구가 이전과는 다르게 확대되고 있음을 확인할 수 있었다. 그러나 여전히 RFT와 관련된 연구의 대부분은 전형적으로 발달하는 사람을 대상으로 이루어진다는 점은 선행연구의 결과와 일치한다(Dymond et el., 2010; O’ Connor et al., 2017). 특히, O’ Connor 등(2017)이 검토한 연구에서 2009년을 전후로 전형적으로 발달하는 성인을 대상으로 하는 RFT 연구는 급격히 증가되는 것을 확인할 수 있는 반면, 발달장애인을 대상으로 하는 연구는 매년 큰 폭의 증가 없이 점진적으로 확대되고 있었다.

둘째, RFT 연구는 자폐스펙트럼 장애를 지닌 사람에게 적극적으로 적용될 수 있다. 선행연구에서 비전형적으로 발달하는 사람에 대한 RFT 연구의 57%가 자폐스펙트럼장애를 지닌 사람이라고 보고하였는데(O’ Connor et al., 2017), 본 연구에서는 RFT 연구 중 자폐스펙트럼장애를 지닌 사람은 중복장애를 포함하여 약 82.4%인 것으로 나타났다. 본 연구의 분석 논문의 연구 결과에 따르면, 자폐스펙트럼장애를 비롯한 다양한 발달장애를 지닌 사람을 대상으로 이루어지는 RFT 기반 중재는 언어 및 인지 발달에 긍정적인 영향을 미칠 수 있음을 보여주고 있다(Dixon et al., 2014; Gorham et al., 2009; Moran et al., 2010; Rehfeldt et al., 2007). 특히 자폐스펙트럼장애를 가진 아동과 청소년을 대상으로 한 지시적(deictic) 프레이밍을 위한 중재는 사회적 의사소통 능력의 핵심 요소인 조망수용(perspective-taking) 능력을 키우는 데 중요한 역할을 할 수 있다(Gilroy, Lorah, & Dodge, 2015). 최근 연구에서는 지시적(deictic) 프레이밍 중재가 사회적 의사소통의 복잡성과 뉘앙스를 이해하는 데 효과적일 수 있음이 증명되고 있는데, 이는 마음이론 관점을 통해서는 조망수용에 대한 진단은 가능하나 실질적인 교육 방법에 대해서 제한적이었기에 이를 보완하는 접근으로 대두되고 있다(Hempkin, Sivaraman, & Barnes-Holmes, 2024). 이에 따라, 자폐스펙트럼장애를 지닌 사람의 교육 및 치료 프로그램에 지시적(deictic) 프레이밍 기반의 중재를 결합하여 다양한 사회적 상황에서 타인의 관점을 이해하고 적절히 반응할 수 있는 능력을 개발하도록 지원할 수 있을 것으로 보인다.

셋째, RFT 기반 중재는 학령기 학생들에게 효과적으로 적용될 수 있다. 국외에서 이루어진 RFT의 연구는 대부분 유아기를 포함한 학령기를 대상으로 이루어졌는데, 이는 전형적으로 발달하는 사람들의 연구가 대부분 성인을 대상으로 이루어졌다는 점과 비교해보면 매우 의미가 있다(Dymond et el., 2010; O’ Connor et al., 2017). 또한, 발달장애인을 대상으로 하는 RFT 연구의 연구 환경이 교실 등과 같은 학교 상황인 점을 고려할 때, 국내 응용행동분석(ABA) 중재 실행에 대한 확장성에 의미가 있다. 국내 응용행동분석 전문가 84명을 대상으로 이루어진 설문에서 전문가 98.8%가 ABA 중재 실행을 위한 적기는 취학 전이라고 응답하였다(이정해, 최진혁, 2020). 이는 자폐스펙트럼장애의 효과적인 치료를 위한 ABA 기반의 조기집중행동중재(EIBI, Early Intensive Behavioral Intervention)의 맥락에서 응답한 것으로 보이지만(Reichow et al., 2014), 국내에서의 행동분석 기반의 중재는 영유아를 대상으로 치료실에서 집중적으로 이루어지고 있다는 것을 알 수 있다. 그러나, RFT 기반의 중재가 초등학교나 중학교 등에서의 교육과정에 통합될 경우, 발달장애를 가진 학생들에게 성공적인 학교 생활을 영위하는 데 도움이 될 것으로 예상된다. 특히, RFT기반 교육이 긍정적인 영향을 주는 것으로 학업과 관련된 프레이밍의 증진은 성공적인 학업의 성공을 예측할 수 있고(Belisle et al., 2022; Belisle et al., 2020; Kirsten et al., 2022; Stanley et al., 2018), 조망수용, 은유적 추론, 기만적 진술 감지, 풍자 감지 등의 증진은 성공적인 통합교육을 예측할 수 있는 또래와의 관계 형성 등과 관련된 주된 변인으로 보인다. 이에 따라 RFT 기반 교육은 학령기 특수교육대상자의 성공적인 교육을 위한 포괄적인 지원 체계를 구축하는 데에도 중요한 역할을 할 것으로 기대된다.

넷째, 발달장애인을 위한 RFT 기반 프로그램의 구현을 위해서는 이해관계자들에 대한 체계적인 교육과 훈련이 필수적이다. 교사, 치료사, 부모 등은 발달장애인의 언어 및 인지 발달을 지원하는 데 있어 핵심적인 역할을 수행한다. RFT는 그 이론적 기반과 적용 방법이 복잡할 수 있으므로, 교사, 치료사, 부모 등 발달장애인의 언어 및 인지 발달을 지원하는 이해관계자들이 RFT의 기본 원리와 적용 방법을 충분히 이해하고 실천에 옮길 수 있도록 하는 것이 중요하다. 따라서, 이들을 대상으로 한 RFT의 기본 원리와 적용 방법, 중재 기법 등에 대한 교육 프로그램을 개발하고 제공해야 한다.

다섯째, 발달장애인의 언어 및 인지 기능 향상을 위한 RFT 기반 개입의 효과성을 평가하기 위한 정교하고 신뢰성 있는 평가 도구의 개발이 필요하다. 발달장애인의 언어 및 인지 발달에 대한 RFT 기반 개입의 효과를 체계적으로 모니터링하고 평가하기 위해서는, 중재 전후의 변화를 정량적으로 측정할 수 있는 표준화된 평가 도구가 필수적이다. 현재까지 RFT 연구에서 사용된 평가 도구들은 국외에서 효과적으로 사용되고 있으나, 국내에 적합한 발달장애 유형별, 연령대별로 맞춤화된 평가가 개발될 필요가 있다. 이러한 평가 도구는 연구자와 실천가 모두에게 RFT 기반 중재의 효과를 객관적으로 측정하고 평가할 수 있는 기준을 제공할 것이며, 중재 프로그램의 효과성을 객관적으로 검증하고, 중재 방법의 개선 및 최적화를 위한 근거 기반을 마련할 수 있을 것이다.

본 연구의 문헌 검색 범위는 주로 영어로 출간되는 학술지에 한정되었다. 이는 연구 결과의 포괄성에 영향을 미칠 수 있으며, 다양한 문화적 및 언어적 배경을 가진 발달장애인에 대한 RFT의 적용 가능성을 평가하는 데 제한을 줄 수 있다. 이에 따라 연구 결과의 일반화 가능성을 높이고, 다양한 문화적 및 언어적 맥락에서 RFT의 적용성을 평가하는 데 기여할 수 있도록 향후 연구에서는 다양한 언어와 지역에서 출판된 문헌을 포함하는 보다 광범위한 문헌 검색을 실행할 필요가 있다. 또한 본 연구의 분석을 위해 선정된 논문 중에는 연구의 질적인 수준이 일정하지 않았을 가능성이 있다. 체계적 검토에 포함된 연구들의 방법론적 엄격성과 일관성의 차이를 고려하여 연구 결과의 해석에 고려할 필요가 있다. 더불어 본 체계적 검토는 연구 결과의 효과 크기를 정량적으로 종합하지 않았기 때문에 RFT 중재의 전반적인 효과를 평가하는 데 한계를 가질 수 있으므로 RFT 중재의 효과에 대한 보다 정확한 추정치를 제공할 필요가 있다.

참고문헌

1.

김대용 (2022). 언어행동분석 관련 단일대상연구 동향 분석. 행동분석·지원연구, 9(1), 1-23.

2.

이정해, 최진혁 (2020). 응용행동분석 중재에 대한 치료지원 전문가의 경험과 인식. 행동분석·지원연구, 7(2), 119-140.

3.

Dixon, D. R., & Stanlay, C. R. (2017). Relational Frame Theory: Basic Relational Operants. In Fryling, M. J., Rehfeldt, R. A., Tarbox, J., & Hayes, L. J. (Eds.). (2020). Applied behavior analysis of language and cognition: Core concepts and principles for practitioners.

4.

Dougher, M. J., Hamilton, D. A., Fink, B. C., & Harrington, J. (2007). Transformation of the discriminative and eliciting functions of generalized relational stimuli. Journal of The Experimental Analysis of Behavior, 88(2), 179-197.

5.

Dymond, S., May, R. J., Munnelly, A., & Hoon, A. E. (2010). Evaluating the evidence base for relational frame theory: A citation analysis. The Behavior Analyst, 33, 97-117.

6.

Gross, A. C., & Fox, E. J. (2009). Relational frame theory: An overview of the controversy. The Analysis of Verbal Behavior, 25(1), 87-98.

7.

Hayes, S. C., Barnes-Holmes, D., & Roche, B. (Eds.). (2001). Relational frame theory: A post-Skinnerian account of human language and cognition. Springer Science & Business Media.

8.

Hempkin, N., Sivaraman, M., & Barnes-Holmes, D. (2024). Deictic relational responding and perspective-taking in autistic individuals: a scoping review. Perspectives on Behavior Science, 1-31.

9.

Horne, P. J., & Lowe, C. F. (1996). On the origins of naming and other symbolic behavior. Journal of the Experimental Analysis of behavior, 65(1), 185-241.

10.

Hughes, S., & Barnes-Holmes, D. (2015). Relational frame theory: The basic account. The Wiley Handbook of Contextual Behavioral Science, 129-178.

11.

O’Connor, M., Farrell, L., Munnelly, A., & McHugh, L. (2017). Citation analysis of relational frame theory: 2009–2016. Journal of Contextual Behavioral Science, 6(2), 152-158.

12.

Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., ... & Moher, D. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. Systematic Reviews, 10(1), 1-11.

13.

Skinner, B. F. (1957). Verbal behavior. New York: Appleton-Century-Crofts.

14.

Sidman, M. (1971). Reading and auditory-visual equivalences. Journal of speech and Hearing Research, 14(1), 5-13.

15.

Sidman, M., & Cresson, O. (1973). Reading and crossmodal transfer of stimulus equivalences in severe retardation. American Journal of Mental Deficiency, 77(5), 15-523.

16.

Sidman, M., & Tailby, W. (1982). Conditional discrimination vs. matching to sample: An expansion of the testing paradigm. Journal of the Experimental Analysis of behavior, 37(1), 5-22.

17.

Sidman, M., Willson-Morris, M., & Kirk, B. (1986). Matching-to-sample procedures and the development of equivalence relations: The role of naming. Analysis and intervention in Developmental Disabilities, 6(1-2), 1-19.

18.

Steele, D., & Hayes, S. C. (1991). Stimulus equivalence and arbitrarily applicable relational responding. Journal of the Experimental Analysis of Behavior, 56(3), 519-555.

19.

Sundberg, M. L (2019). Verbal Behavior. In Cooper, J. O., Heron, T. E., & Heward, W. L. ( (Eds.). Applied behavior analysis. Hoboken, NJ: Pearson Education.

20.

Reichow, B., Barton, E. E., Boyd, B. A., & Hume, K. (2014). Early intensive behavioral intervention (EIBI) for young children with autism spectrum disorders (ASD): A systematic review. Campbell Systematic Reviews, 10(1), 1-116.

21.

Hempkin, N., Sivaraman, M., & Barnes-Holmes, D. (2024). Deictic Relational Responding and Perspective-Taking in Autistic Individuals: A Scoping Review. Perspectives on Behavior Science, 1-31.

22.

Baltruschat, L., Hasselhorn, M., Tarbox, J., Dixon, D. R., Najdowski, A., Mullins, R. D., & Gould, E. (2012). The effects of multiple exemplar training on a working memory task involving sequential responding in children with autism. The Psychological Record, 62, 549-562.

23.

Barron, B. F., Verkuylen, L., Belisle, J., Paliliunas, D., & Dixon, M. R. (2019). Teaching “then-later” and “here-there” relations to children with autism: An evaluation of single reversals and transformation of stimulus function. Behavior analysis in practice, 12, 167-175.

24.

Belisle, J., Burke, R., Janota, T., Dennis, L., & Taylor, S. (2023). Promoting the emergence of vocational knowledge through equivalence-based instruction with a young adult with autism. Behavior Analysis in Practice, 16(4), 1216-1221.

25.

Belisle, J., Clark, L., Welch, K., & McDonald, N. R. (2021). Synthesizing the multiple-probe experimental design with the PEAK relational training system in applied settings. Behavior Analysis in Practice, 14, 181-192.

26.

Belisle, J., Clark, L., Welch, K., McDonald, N., Dennis, L., & Sickman, E. (2022). Evaluation of broad skill repertoire changes over 3 months of PEAK implementation in a special education classroom. Behavior Analysis in Practice, 1-6.

27.

Belisle, J., Dixon, M. R., Munoz, B. E., & Fricke-Steuber, K. (2021). The convergent validity of the PEAK-E-PA and two common assessments of language development: The ABLLS-R and the TOLD 1: 4. Journal of Behavioral Education, 1-19.

28.

Belisle, J., Dixon, M. R., & Stanley, C. R. (2018). The mediating effects of derived relational responding on the relationship between verbal operant development and IQ. Behavior Analysis in Practice, 11, 411-416.

29.

Belisle, J., Dixon, M. R., Stanley, C. R., Munoz, B., & Daar, J. H. (2016). Teaching foundational perspective-taking skills to children with autism using the PEAK-T curriculum: single-reversal “I–You” deictic frames. Journal of Applied Behavior Analysis, 49(4), 965-969.

30.

Belisle, J., Dixon, M. R., & Stanley, C. R. (2018). The mediating effects of derived relational responding on the relationship between verbal operant development and IQ. Behavior Analysis in Practice, 11, 411-416.

31.

Belisle, J., Paliliunas, D., & Dixon, M. R. (2021). Emergent entailed analogical reasoning of “same,”“different,” and “opposite” in children with disabilities. Journal of Behavioral Education, 1-12.

32.

Belisle, J., Paliliunas, D., Stanley, C. R., Barron, B. F., & Dixon, M. R. (2021). Top-Down Attentional Processing and Relational Density Evident in Word Search Performance of Children. Behavior Analysis in Practice, 1-14.

33.

Belisle, J., Stanley, C. R., & Dixon, M. R. (2017). The relationship between derived mutually entailed relations and the function of challenging behavior in children with autism: Comparing the PEAK-E-PA and the QABF. Journal of Contextual Behavioral Science, 6(3), 298-307.

34.

Belisle, J., Stanley, C. R., Schmick, A., Dixon, M. R., Alholail, A., Galliford, M. E., & Ellenberger, L. (2020). Establishing arbitrary comparative relations and referential transformations of stimulus function in individuals with autism. Journal of Applied Behavior Analysis, 53(2), 938-955.

35.

Corbett, O., Hayes, J., Stewart, I., & McElwee, J. (2017). Assessing and training children with autism spectrum disorder using the relational evaluation procedure (REP). Journal of Contextual Behavioral Science, 6(2), 202-207.

36.

Daar, J. H., Negrelli, S., & Dixon, M. R. (2015). Derived emergence of WH question–answers in children with autism. Research in Autism Spectrum Disorders, 19, 59-71.

37.

Dixon, M. R., Belisle, J., Hayes, S. C., Stanley, C. R., Blevins, A., Gutknecht, K. F., ... & Lucas, C. (2021). Evidence from children with autism that derived relational responding is a generalized operant. Behavior Analysis in Practice, 14, 295-323.

38.

Dixon, M. R., Belisle, J., & Stanley, C. R. (2018). Derived relational responding and intelligence: Assessing the relationship between the PEAK-E pre-assessment and IQ with individuals with autism and related disabilities. The Psychological Record, 68, 419-430.

39.

Dixon, M. R., Belisle, J., Stanley, C. R., Munoz, B. E., & Speelman, R. C. (2017). Establishing derived coordinated symmetrical and transitive gustatory-visual-auditory relations in children with autism and related intellectual disabilities using the PEAK-E curriculum. Journal of Contextual Behavioral Science, 6(1), 91-95.

40.

Dixon, M. R., Belisle, J., Stanley, C. R., Speelman, R. C., Rowsey, K. E., Kime, D., & Daar, J. H. (2017). Establishing derived categorical responding in children with disabilities using the PEAK-E curriculum. Journal of applied behavior analysis, 50(1), 134-145.

41.

Dixon, M. R., Carman, J., Tyler, P. A., Whiting, S. W., Enoch, M. R., & Daar, J. H. (2014). PEAK relational training system for children with autism and developmental disabilities: Correlations with peabody picture vocabulary test and assessment reliability. Journal of Developmental and Physical Disabilities, 26, 603-614.

42.

Dixon, M. R., Paliliunas, D., Barron, B. F., Schmick, A. M., & Stanley, C. R. (2021). Randomized controlled trial evaluation of ABA content on IQ gains in children with autism. Journal of Behavioral Education, 30, 455-477.

43.

Dixon, M. R., Speelman, R. C., Rowsey, K. E., & Belisle, J. (2016). Derived rule-following and transformations of stimulus function in a children's game: An application of PEAK-E with children with developmental disabilities. Journal of Contextual Behavioral Science, 5(3), 186-192.

44.

Dixon, M. R., Yi, Z., Sutton, A., & Pikula, A. (2023). Randomized-controlled trial examining differing content of ABA therapy delivered to autistic children. Journal of Contextual Behavioral Science, 28, 169-179.

45.

Dunne, S., Foody, M., Barnes-Holmes, Y., Barnes-Holmes, D., & Murphy, C. (2014). Facilitating repertoires of coordination, opposition distinction, and comparison in young children with autism. Behavioral Development Bulletin, 19(2), 37.

46.

Falla, D., & Alós, F. J. (2016). Contextual Control in Visuospatial Perspective-Taking Skills in Adults with Intellectual Disabilities. Behavioral Interventions, 31(1), 44-61.

47.

García-Zambrano, S., Rehfeldt, R. A., Hertel, I. P., & Boehmert, R. (2019). Effects of deictic framing and defusion on the development of self-as-context in individuals with disabilities. Journal of Contextual Behavioral Science, 12, 55-58.

48.

Gilroy, S. P., Lorah, E. R., Dodge, J., & Fiorello, C. (2015). Establishing deictic repertoires in autism. Research in Autism Spectrum Disorders, 19, 82-92.

49.

Gilsenan, C. M., Yi, Z., Hinman, J. M., Barron, B. F., & Dixon, M. R. (2022). Using relational training to improve performance during acceptance and commitment training sessions. Behavior Analysis in Practice, 15(1), 179-191.

50.

Gore, N. G., Barnes-Holmes, Y., & Murphy, G. (2010). The relationship between intellectual functioning and relational perspective-taking. International Journal of Psychology and Psychological Therapy, 10(1), 1-17.

51.

Gorham, M., Barnes-Holmes, Y., Barnes-Holmes, D., & Berens, N. (2009). Derived comparative and transitive relations in young children with and without autism. The Psychological Record, 59, 221-246.

52.

Jackson, M. L., Mendoza, D. R., & Adams, A. N. (2014). Teaching a deictic relational repertoire to children with autism. The Psychological Record, 64, 791-802.

53.

Kenny, N., Barnes-Holmes, D., & Stewart, I. (2014). Competing arbitrary and non-arbitrary relational responding in normally developing children and children diagnosed with autism. The Psychological Record, 64, 755-768.

54.

Kilroe, H., Murphy, C., Barnes-Holmes, D., & Barnes-Holmes, Y. (2014). Using the T-IRAP interactive computer program and applied behavior analysis to teach relational responding in children with autism. Behavioral Development Bulletin, 19(2), 60.

55.

Kirsten, E. B., Stewart, I., & McElwee, J. (2022). Testing and training analogical relational responding in children with and without autism. The Psychological Record, 72(4), 561-583.

56.

Kleinert-Ventresca, K., Greer, R. D., & Baldonado, L. (2023). More complex incidental bidirectional naming results from exposure alone. Journal of the Experimental Analysis of Behavior, 119(3), 461-475.

57.

Lee, G. T., Hu, X., Liu, Y., & Yang, Z. (2021). Improving pretend play for children with autism through experiencing the stimulus properties of real objects. Journal of Applied Behavior Analysis, 54(4), 1369-1384.

58.

Lee, G. T., Xu, S., Zou, H., Gilic, L., & Lee, M. W. (2019). Teaching children with autism to understand metaphors. The Psychological Record, 69, 499-512.

59.

Luke, N., Greer, R. D., Singer-Dudek, J., & Keohane, D. D. (2011). The emergence of autoclitic frames in atypically and typically developing children as a function of multiple exemplar instruction. The Analysis of verbal behavior, 27, 141-156.

60.

May, R. J., Hawkins, E., & Dymond, S. (2013). Brief report: Effects of tact training on emergent intraverbal vocal responses in adolescents with autism. Journal of Autism and Developmental Disorders, 43, 996-1004.

61.

McKeel, A. N., Dixon, M. R., Daar, J. H., Rowsey, K. E., & Szekely, S. (2015). Evaluating the efficacy of the PEAK relational training system using a randomized controlled trial of children with autism. Journal of Behavioral Education, 24, 230-241.

62.

Melo Wider, L. B., Silva Barros, R., & Varella, A. A. (2020). Equivalence class formation in individuals with autism: Predictions from ABLA-R levels. The Analysis of Verbal Behavior, 36, 215-232.

63.

Ming, S., Mulhern, T., Stewart, I., Moran, L., & Bynum, K. (2018). Training class inclusion responding in typically developing children and individuals with autism. Journal of applied behavior analysis, 51(1), 53-60.

64.

Ming, S., Stewart, I., McElwee, J., & Bynum, K. (2015). Contextual control over derived relational responding in a teenager with autism. Research in Autism Spectrum Disorders, 19, 7-17.

65.

Montoya-Rodríguez, M. M., McHugh, L., & Cobos, F. J. M. (2017). Teaching perspective-taking skills to an adult with Down syndrome: A case study. Journal of contextual behavioral science, 6(3), 293-297.

66.

Montoya-Rodríguez, M. M., & Molina-Cobos, F. J. (2019). Training perspective taking skills in individuals with intellectual disabilities: A functional approach. Journal of Contextual Behavioral Science, 14, 1-10.

67.

Moran, L., Stewart, I., McElwee, J., & Ming, S. (2010). Brief report: The training and assessment of relational precursors and abilities (TARPA): A preliminary analysis. Journal of Autism and Developmental Disorders, 40, 1149-1153.

68.

Moran, L., Stewart, I., McElwee, J., & Ming, S. (2014). Relational ability and language performance in children with autism spectrum disorders and typically developing children: A further test of the TARPA protocol. The Psychological Record, 64, 233-251.

69.

Moran, L., Walsh, L., Stewart, I., McElwee, J., & Ming, S. (2015). Correlating derived relational responding with linguistic and cognitive ability in children with Autism Spectrum Disorders. Research in Autism Spectrum Disorders, 19, 32-43.

70.

Morgan, G. A., Greer, R. D., & Fienup, D. M. (2021). Descriptive analyses of relations among bidirectional naming, arbitrary, and nonarbitrary relations. The Psychological Record, 71, 367-387.

71.

Murphy, C., & Barnes-Holmes, D. (2010). Establishing complex derived manding with children with and without a diagnosis of autism. The Psychological Record, 60, 489-503.

72.

Murphy, C., Barnes-Holmes, D., & Barnes-Holmes, Y. (2005). Derived manding in children with autism: Synthesizing Skinner's verbal behavior with relational frame theory. Journal of applied behavior analysis, 38(4), 445-462..

73.

Murphy, C., & Barnes-Holmes, D. (2009). Derived more-less relational mands in children diagnosed with autism. Journal of Applied Behavior Analysis, 42(2), 253-268.

74.

Murphy, C., & Barnes-Holmes, D. (2010). Establishing five derived mands in three adolescent boys with autism. Journal of Applied Behavior Analysis, 43(3), 537-541.

75.

Murphy, C., Lyons, K., Kelly, M., Barnes-Holmes, Y., & Barnes-Holmes, D. (2019). Using the Teacher IRAP (T-IRAP) interactive computerized programme to teach complex flexible relational responding with children with diagnosed autism spectrum disorder. Behavior Analysis in Practice, 12, 52-65.

76.

O’Connor, J., Barnes-Holmes, Y., & Barnes-Holmes, D. (2011). Establishing contextual control over symmetry and asymmetry performances in typically developing children and children with autism. The Psychological Record, 61, 287-312.

77.

O’Connor, J., Rafferty, A., Barnes-Holmes, D., & Barnes-Holmes, Y. (2009). The role of verbal behavior, stimulus nameability, and familiarity on the equivalence performances of autistic and normally developing children. The Psychological Record, 59, 53-74.

78.

O’Connor, M. T., Belisle, J., Stanley, C. R., & Dixon, M. R. (2020). Establishing multiple-control responding of children with autism to people and emotions in context by utilizing derived stimulus relations. Behavior Analysis in Practice, 13, 192-196.

79.

O’Neill, J., & Weil, T. M. (2014). Training deictic relational responding in people diagnosed with schizophrenia. The Psychological Record, 64, 301-310.

80.

Ortega, D., & Lovett, S. (2018). Equivalence-based instruction to establish a textual activity schedule in an adult with Down syndrome. Behavioral Interventions, 33(3), 306-312.

81.

Persicke, A., Tarbox, J., Ranick, J., & Clair, M. S. (2012). Establishing metaphorical reasoning in children with autism. Research in Autism Spectrum Disorders, 6(2), 913-920.

82.

Persicke, A., Tarbox, J., Ranick, J., & Clair, M. S. (2013). Teaching children with autism to detect and respond to sarcasm. Research in Autism Spectrum Disorders, 7(1), 193-198.

83.

Pomorska, K., Ostaszewski, P., Barnes-Holmes, Y., & McEnteggart, C. (2021). Protocols for assessing derived relations in typically developing children and children with autism spectrum disorder. The Psychological Record, 71, 435-460.

84.

Ranick, J., Persicke, A., Tarbox, J., & Kornack, J. A. (2013). Teaching children with autism to detect and respond to deceptive statements. Research in Autism Spectrum Disorders, 7(4), 503-508.

85.

Rehfeldt, R. A., Dillen, J. E., Ziomek, M. M., & Kowalchuk, R. K. (2007). Assessing relational learning deficits in perspective-taking in children with high-functioning autism spectrum disorder. The Psychological Record, 57, 23-47.

86.

Schmick, A. M., Stanley, C. R., & Dixon, M. R. (2018). Teaching children with autism to identify private events of others in context. Behavior Analysis in Practice, 11, 400-405.

87.

Stanley, C. R., Belisle, J., & Dixon, M. R. (2018). Equivalence-based instruction of academic skills: Application to adolescents with autism. Journal of Applied Behavior Analysis, 51(2), 352-359.

88.

Still, K., May, R. J., Rehfeldt, R. A., Whelan, R., & Dymond, S. (2015). Facilitating derived requesting skills with a touchscreen tablet computer for children with autism spectrum disorder. Research in Autism Spectrum Disorders, 19, 44-58.

89.

Tarbox, J., Zuckerman, C. K., Bishop, M. R., Olive, M. L., & O’Hora, D. P. (2011). Rule-governed behavior: Teaching a preliminary repertoire of rule-following to children with autism. The Analysis of verbal behavior, 27, 125-139.

90.

Walsh, S., Horgan, J., May, R. J., Dymond, S., & Whelan, R. (2014). Facilitating relational framing in children and individuals with developmental delay using the relational completion procedure. Journal of the Experimental Analysis of Behavior, 101(1), 51-60.

91.

Williams, H., Stanley, C. R., Belisle, J., & Dixon, M. R. (2020). Evaluating the Emergence of the Transformation of Stimulus Function through Representational Drawing in Children with Autism. Behavior Analysis in Practice, 13, 186-191.

92.

Zagrabska-Swiatkowska, P., Mulhern, T., Ming, S., Stewart, I., & McElwee, J. (2020). Training class inclusion responding in individuals with autism: Further investigation. Journal of Applied Behavior Analysis, 53(4), 2067-2080.