[ Article ]

Journal of Korean Public Health Nursing - Vol. 39, No. 1, pp.64-77

ISSN: 1226-0290 (Print) 2234-2869 (Online)

Print publication date 30 Apr 2025

Received 28 Feb 2025 Revised 25 Mar 2025 Accepted 28 Mar 2025

DOI: https://doi.org/10.5932/JKPHN.2025.39.1.64

치매 대상자의 가족 주부양자 건강관리를 위한 모바일 앱 개발 및 사용성 시험 : 예비연구

박정민^**

; 김성민^***

; 서지혜^****

; 서현주^*****

**남부대학교 간호학과, 부교수
***도울건강복지센터, 센터장
****청암대학교 간호학과, 부교수
*****충남대학교 간호대학, 교수, 교신저자

Development and Usability Testing of a Mobile App for the Health Management of Primary Caregivers of People with Dementia: A Pilot Study

Park, Jeong Min^**

; Kim, Seong Min^***

; Seo, Ji-Hye^****

; Seo, Hyun-Ju^*****

**Associate Professor, Department of Nursing, Nambu University, Gwangju, South Korea
***Chief Officer, Dowool health welfare Center, Namwonsi, South Korea
****Associate Professor, Department of Nursing, Cheongam University, Suncheonsi, South Korea
*****Professor, College of Nursing, Chungnam National University, Daejeon, South Korea

Correspondence to: Hyun-Ju Seo College of Nursing, Chungnam National University, 266 Munhwa-ro, Jung-gu, Daejeon, 35015, South Korea, Tel: +82-42-580-8320, Fax: +82-42-580-8309, E-mail: hjseo20@cnu.ac.kr

Abstract

Purpose:

With the increasing prevalence of dementia, there is a need for providing caregiving information and supporting mental and physical health management for family caregivers of people with dementia. In response, the mobile app ‘Dementia Empathy-e’ was developed.

Method:

This study followed a methodological design based on the ADDIE model. From July to November 2023, usability testing was conducted with four experts and ten family caregivers (five per cycle) of people with dementia. at the Dementia Relief Center in District B, G Metropolitan City.

Result:

The average usability test scores increased from 2.55±0.39 in the first cycle to 2.65±0.45 in the second cycle. In both cycles, the technology subcategory received the highest scores. The developed app features monitoring and feedback on the caregivers' mental and physical health, provides dementia-related information, and facilitates communication among caregivers to share information.

Conclusion:

The mobile app developed in this study enables family caregivers of people with dementia to assess and receive feedback from other caregivers and experts on their mental and physical health. Additionally, the communication function promotes empathy and emotional support, serving as a useful tool for enhancing caregiving.

Keywords:

Mobile Applications, Usability Testing, Dementia, Family Caregivers, Health

키워드:

모바일 앱, 사용성 시험, 치매, 가족, 주부양자

I . 서 론

1. 연구의 필요성

치매 협회에 따르면, 치매는 미국에서 약 650만 명의 사람들에게 영향을 주며 2060년까지 1,380만 명에 이를 것으로 추산된다. 2021년에 1,100만 명 이상의 가족 구성원과 간병인이 치매 환자에게 약 160억 시간의 간병을 제공하였고, 2,716억 달러의 비용이 소요되는 것으로 보고하였다(Alzheimer’s Association, 2022). 우리나라의 경우 65세 이상 중 치매 환자 유병률은 2020년에 83.2만 명(10.3%)이었고, 2050년에는 302만 명(15.9%)으로 추산되고 있으며, 국가 치매 관리 비용은 2019년 16조 5천억 원에서 2050년은 103조 1천억 원으로 증가할 것으로 추정되어(Ministry of Health & Welfare, 2020), 치매 유병률의 증가는 사회적 문제로 대두되고 있다.

치매 대상자와 가족 주부양자를 위한 국가정책으로 2008년부터 노인장기요양보험 국가사업을 시행하였고, 2018년에는 ‘인지지원등급’ 신설하여 치매 대상자의 삶의 질 증진을 위한 맞춤형 서비스와 가족지원서비스를 제공하는 등 노력도 지속하고 있다(Kwak, 2018). 하지만 이러한 사회적인 대책 및 지원에도 불구하고, 치매 가족 주부양자들은 가정에서 돌봄으로 인해 가족 갈등, 가족 해체 등 고통이 심화되고, 치매 치료 및 간병으로 인한 경제적 부담(49.0%), 정서적 부담(16.5%), 육체적 부담(14.5%) 등 가계 부담을 호소하고 있다(Ministry of Health & Welfare, 2020). 따라서 이런 부담으로 인해 치매 대상자의 가족 주부양자는 스트레스, 불안, 우울, 사회적 고립감을 느끼는 것으로 보고되어, 주부양자의 신체적 그리고 사회·심리적 부담들을 경감해 주는 중재가 중요할 것이다(Choi et al., 2023). 이렇듯 주부양자가 치매 대상자의 질환을 이해하고, 원활한 의사소통을 통해 행동심리 증상별 적절한 대처방법을 수행할 수 있으며, 가족 주부양자의 부담 완화를 돕고 접근이 용이한 심리 교육적이면서 신체건강 역시 돌볼 수 있는 중재 프로그램 개발이 필요하다.

치매 대상자 가족교육은 중앙치매센터, 치매가족협회, 광역치매센터, 치매안심센터 등 여러 공공과 민간 기관에서 제공되고 있지만 개인의 선택에 의한 교육이기에 개인별 지식과 정보의 편차가 크다(Hong et al., 2018). 2022년 가족 주부양자의 통계에 의하면, 미국에서 가족 주부양자의 87%가 휴대전화와 인터넷을 활용하고, 84%는 온라인으로 가족정보를 검색하며, 40%는 가족 돌봄에 보조기기를 사용하는 것으로 조사되었다(Family Caregiver Alliance, 2022). 또한, 2023년 한국갤럽조사에 따르면, 우리나라 성인 스마트폰 사용률은 2013년에 74.1%에서 2023년은 97.4%로 증가하고 있고, 60대가 98%, 70대 이상은 85%를 사용하였으며, 안드로이드 운영체제(OS) 점유율이 75%로 나타났다(Gallup Korea, 2023). 치매 대상자의 가족은 대부분 컴퓨터보다 더 흔한 빈도로 스마트 폰을 사용하며, 그 중 50% 이상이 앱을 통해 다른 사람들과 소통한다고 알려져 있다(Lee et al., 2017). 특히, 보건의료분야에서 건강증진이나 건강관리와 관련된 앱들의 개발이 증가추세이고, 시·공간의 제약 없이 건강관리에 활용되고 있으며 최근 모바일 기술의 발달로 치매 대상자나 가족을 돌보기 위해 모바일 앱 들이 개발되고 있다. 그 예로, 치매가족을 위한 돌봄 정보 서비스 앱(Shin & Jang, 2019), 치매 대상자 보호를 위한 위치와 일상 패턴 알림 앱(Hwang, et al., 2013) 등 사용자 맞춤형 스마트폰 앱 서비스를 구축하기 위한 연구들이 진행되었다. 또한 개발된 앱의 사용성 시험 연구로, 치매 대상자와 가족 부양자를 위한 회상 앱(Gibson et al., 2016), 가족 부양자를 위한 치매 대상자의 통증관리 앱(Chi et al., 2024)과 디지털 돌봄서비스를 지원하는 앱(Fan et al., 2024) 등이 있다. 하지만 치매 가족 주부양자 만을 위한 앱을 사용성 시험한 연구는 소수이고, Guessi Margarido 등(2022)의 체계적 문헌고찰 연구에서와 같이, 대부분 부양자들이 모바일 앱 상에서 의사소통(지원그룹, 소셜 네트워크)을 하거나 자기관리 교육(마음챙김, 일기쓰기 등)을 해주는 앱으로, 본 연구에서 개발된 앱처럼 주부양자들 간의 시·공간 제약 없는 의사소통의 기능에 추가로 정신 상태(스트레스, 우울, 삶의 질, 부양부담감)와 신체 상태(신체활동검사, 걷기실천, 근력실천, 수면의 질)를 체크한 결과를 맞춤형 피드백을 해주는 앱은 찾아보기 힘든 실정이다.

따라서 본 연구에서는 치매 질환 증가 상황에 맞추어 치매 가족 주부양자의 돌봄 정보 서비스 제공 및 정신·신체적 건강증진을 위한 안드로이드 기반 모바일 앱을 개발하고, 사용자와 전문가를 통한 앱을 설계하여 사용성 시험(Usability testing)을 시행하고자 하였다.

2. 연구 목적

본 연구의 목적은 치매 대상자 가족 주부양자의 돌봄 정보 서비스를 제공하고 정신 및 신체건강 증진을 위한 모바일 앱을 개발하고, 개발된 앱에 대한 사용성 시험을 하기 위함이며, 구체적인 목적은 다음과 같다.

∙ 첫째, 치매 대상자 가족 주부양자의 정신 및 신체건강 증진을 위한 Analysis-Design-Development-Implementation-Evaluation (ADDIE) model (Molenda, 2003)에 기반한 모바일 앱(‘치매공감e’)을 개발하였다.
∙ 둘째, 개발된 앱에 대한 가족 주부양자와 전문가를 대상으로 한 사용자 평가를 실시하였다.

Ⅱ. 연구 방법

1. 연구 설계

본 연구설계는 ADDIE model을 활용하여 분석-설계-개발-구현-평가의 5단계로 개발하여 분석한 방법론적 연구이다(Figure 1). ADDIE 모델은 간단하고 체계적으로 구조화되어 연구자들이 이해하고 활용하기 쉬운 특성이 있다(Sugiyono, et al., 2022).

Figure 1.

Development Process of Application for Caregivers for People with Dementia

2. 연구 대상

연구 대상자는 앱 개발 전 사용자와 보건의료 전문가의 요구도 조사와 앱의 내용 타당도 검증, 개발 후 앱 사용성 시험 대상자로 구분된다.

1) 앱 개발전 요구도

N시 치매돌봄기관의 가족 주부양자 사용성 시험은 Shin과 Jang (2019)의 요구도 대상자 수를 참고하여 본 연구의 선정 기준에 부합한 7인과 보건의료 전문가 7인을 대상으로 2020년 2월 10일부터 28일까지 조사하였다. 보건의료 전문가의 경우 치매 대상자를 주로 진료 중인 신경과와 재활의학과 전문의, 20년 이상 경력의 국민건강보험공단 소속 간호사, 강의 경력 10년 이상의 성인간호학과 지역사회간호학 교수, 노인요양병원에 근무 중인 물리치료사로 구성되었다.

2) 개발된 앱 내용 타당도 검증

내용 타당도 검증에 5명이 참여하였으며, N시의 15년 경력의 신경과 전문의, 20년 이상 경력의 노인요양병원 간호사, 강의 경력 10년 이상의 성인간호학 교수, 신경과 근무경력 7년인 간호학과 교수, 경력 15년 이상의 앱·IT 개발자를 대상으로 2021년 8월 2일부터 9월 1일까지 검증하였다.

3) 개발된 앱 사용성 시험

전문가 사용성 시험은 4명으로, 2023년 9월 5일에서 11일까지 G광역시의 10년 이상 요양병원에 근무 중인 가정의학과 전문의와 간호사, 신경과 근무경력 7년인 간호학과 교수, 경력 15년 이상의 앱·IT 개발자로 구성되었다.

사용자 사용성 시험 대상자는 G광역시에 소재한 B구 치매안심센터에 등록된 대상자들 중에서 치매 대상자의 가족 주부양자로 하였고, 본 연구의 목적을 이해하며 연구 참여에 동의한 자로 선정하였다. 1주기와 2주기에 각 5명씩 편의표본추출 하였으며, 구체적인 선정기준은 다음과 같다.

대상자는 만 18세에서 80세 이하로, 치매 대상자의 가족 주부양자로서 돌봄을 담당하는 사람으로 하였다. 또한, 연구의 목적을 이해하고 자발적 참여에 동의하며, 안드로이드 운영체제의 스마트폰 앱을 활용 가능한 자로 하였다.

사용성 시험은 잠재적 사용자들의 피드백을 받아 콘텐츠, 기능, 시스템 인터페이스가 유용하고, 사용과 배움에 용이하며, 효율적이고, 오류가 없으며, 사용자 만족을 충족하는지 확인하여(Lewis, 2002), 프로토타입(prototype)을 재설계하기 위해 널리 사용되는 방법론이다. 연구목적을 달성하기 위한 사용성 시험은 2∼3주기가 소요되며 모든 주기에 표본 5∼7명이 참여하는 것이 좋다는 Stinson 등(2013)의 선행연구에 따라, 한 주기에 5명씩 총 2주기의 사용성 시험을 시행하였고, 탈락 없이 총 10명의 자료를 최종분석에 사용하였다.

3. 연구 도구

1) 스마트폰 앱 사용성 시험도구

Kim (2014)이 개발한 측정도구로 측정하였다. 이 도구는 총 23문항으로, 컨텐츠, 인터페이스디자인, 기술의 하위영역이 있다. 각 문항은 ‘전혀 아니다’ 0점에서 ‘매우 그렇다’ 3점의 4점 Likert 척도로 점수가 높을수록 적합성 정도가 높음을 의미하며, 구체적 평가를 위해 각 문항별로 기타 의견을 적을 수 있도록 하였다. 도구의 Cronbach’s α는 Kim (2014)의 연구에서 .90이었고, 본 연구에서 .86이었다.

2) 내용타당도 측정도구

앱 컨텐츠 선정을 위해 Shin과 Jang (2019)의 내용타당도 측정도구를 참고하였고, 간호대학 교수 2인이 도구를 검토하여 5개의 상위영역(이름, 내용, 주요기능, 입장방법, 앱 활용)과 13개의 하위영역으로 구분하였다. 내용은 ‘전혀 관련이 없음’ 1점에서 ‘매우 관련이 있음’ 4점까지로, 해당 항목 점수가 2점 이하인 경우 이유와 수정사항을 기술하도록 하였다.

4. 자료 수집 방법

본 자료는 N대학교 IRB 승인 후, G광역시에 소재한 B구 치매안심센터의 부서장에게 허락을 받은 뒤 게시판을 통해 연구 참여 대상자를 모집하였다. 사용자의 사용성 시험 대상자는 총 2주기로 모집하였으며, 1주기 시험은 2023년 7월 5일부터 11일까지, 2주기는 2023년 8월 9일부터 15일까지 이루어졌다.

5. 자료 분석 방법

수집된 자료는 SPSS/WIN 25.0 프로그램으로 전문가와 사용자의 일반적 특성과 평가 점수는 빈도, 백분율, 평균 및 표준편차로 분석하였고, 내용타당도는 문항의 내용타당도 지수(Item-level Content Validity Index, I-CVI)를, 스마트폰 앱 사용성 시험도구의 신뢰도는 Cronbach’s α로 검증하였다.

6. 윤리적 고려

본 연구는 진행 전에 G광역시 N대학교 생명윤리위원회의 승인(1041478-2021-HR-034)을 받은 후 연구대상자에게 연구 목적과 방법, 참여와 철회의 자율성, 연구 참여로 인한 불편감, 참여자에 대한 비밀보장과 사생활 보호 등을 설명하였으며, 자발적으로 동의한 자에 한해 서면동의서를 받은 후 연구를 진행하였다.

Ⅲ. 연구 결과

1. 분석단계(Analysis) - 요구도 분석

치매 대상자의 가족 주부양자 7인과 보건의료 전문가 7인을 대상으로 3개의 질문영역(일반적 특성, 포함될 앱 내용별 중요도, 모바일 앱에 선호되는 디바이스 기능별 중요도)을 설문조사하였다. 포함될 스마트폰 앱 내용별 중요도 분석결과, 주부양자들은 첫 번째 중요항목으로 치매관리 매뉴얼(3명), 치매질환 관련 지식(2명), 부양자들의 자조모임 안내와 건강행위실천 정도(각 1명), 그 외에 지원기관 정보, 치매예방법의 추가를 원하였다. 또한 보건의료 전문가는 첫 번째로 치매질환 관련 지식(4명), 치매관리매뉴얼(3명), 그 외에 치매 대상자 이상행동 대처법, 거주지 주변 치매돌봄센터 정보 추가를 원하였다.

선호되는 디바이스 기능별 중요도 분석 결과, 주부양자들은 첫 번째 중요항목에 심리상태 체크(7명), 그 외에 요양기관에 대한 평가결과 공유, 글 저장이나 편집기능 추가를 원하였다. 보건의료 전문가는 첫 번째로 심리상태 체크(5명), 중요 간호시간에 알림과 치매 대상자 위치추적(각 1명), 그 외에 재미있는 내용, 대상자의 행동이나 심리 상태별 맞춤형 상담 기능 추가를 원하였다.

종합하면 앱에서 중요한 내용들로 치매관리매뉴얼, 치매질환 관련 지식, 집 주변 지원기관 정보 제공, 선호되는 디바이스 기능에서 중요한 내용들은 심리상태 체크가 가장 많게 분석되었다.

2. 설계단계(Design)

앱은 요구도 조사 내용 분석, 문헌고찰, 시중의 스마트폰 앱 분석을 통해 총 5개의 주 영역, 24개의 세부 영역, 39개의 세부 하위영역으로 구성하였다(Table 1). 본 연구자와 간호학 교수 2인이 구성한 내용을 바탕으로 의사, 간호사, 앱·IT 개발자, 간호학과 교수 2인 총 5명의 CVI값과 의견을 토대로 재구성하였다. 내용 타당도 검증결과 모든 항목이 1.0 이상으로 내용타당도를 충족하였다.

Table 1.

App Contents

정보설계에서 로그인 계정정보는 이름과 핸드폰 번호를 1회만 설정하면 자동 로그인이 되고, 개인정보 보호를 위해 민감한 정보(성명, 연락처, 설문결과 등)는 최소한만 수집한다는 내용에 동의한 경우 다음 화면으로 넘어갈 수 있도록 설계하였다. 상호작용은 기본적인 틀로서 앱 화면에서 상위메뉴와 하위메뉴로 항목을 계층별로 분류하여 접근할 수 있는 방법으로 설계하였다.

3. 개발단계(Development)

앱의 주요 특징으로 사용자 친화적인 인터페이스, 주부양자들 간의 대화 및 게시글 작성, 정신 및 신체건강 피드백 제공, 치매 관련 전문정보 제공, 배회감지와 실종노인찾기 기능 등이 포함되어 있다. 이를 통해 사용자는 시·공간에 구애받지 않고 의사소통할 수 있으며, 설문을 통해 정신과 신체건강 상태에 대한 피드백을 받아 상태별 맞춤형 관리가 가능하도록 개발되었다.

앱의 이름은 치매기관 센터장 자문을 통해 ‘치매공감e’로 하였으며, ‘공감’은 상호소통과 지지를 의미하며, 끝에 해마가 있는 뇌 전체의 모양을 닮은 소문자 ‘e’를 더하였다. 주요 영역의 ‘보따리’라는 접미어는 영역을 클릭할 때 유익한 정보가 풀린다는 의미가 있다. 앱에서 대상자들에게 ‘공감e’라는 호칭을 사용하였다. 앱에 포함된 동영상, 최신 기사, 자료실 등은 공신력 있는 웹사이트(중앙치매센터, 보건복지부, 한국치매협회)에서 링크 활용 허락을 받은 후 출처를 기입한 뒤 사용하였다.

앱의 화면은 따뜻하고 밝은 노란색을 사용하고, 뒤로가기 버튼과 비밀글 작성, 수정 및 저장 버튼을 추가하여 사용자의 편의성을 높였다. 메인화면은 매일 사용자의 목표를 설정하도록 하고, 5개의 상위 메뉴를 고정시켰고, 특히 소통영역의 경우 말풍선 이모티콘을 추가하여 눈에 띌 수 있게 하였다. '공감e들과의 희망이야기'에서는 주부양자들이 글, 사진, 댓글 기능을 활용하여, 주부양자들 간에 치매에 대한 지식과 케어 노하우를 나누고, 힘든 상황을 공감하고 힐링할 수 있는 공간을 마련해 주었다. 설문을 통해 사용자의 마음상태(스트레스, 우울, 삶의 질, 부양부담감)와 신체 상태(신체활동, 걷기실천, 근력실천, 수면의 질)를 파악하여 결과에 따라 맞춤형 상담을 제공하였다. 매일 push 알림와 새글 탑재 알림을 통해 앱 활동을 격려하고, 앱 출석 누적일수와 활동횟수에 따라 차별화된 보상 시스템을 통해 사용자의 참여를 유도하여 앱 활용도를 높였다(Figure 2).

Figure 2.

Image Capture of the Developed App

4. 구현단계(Implementation)

완성된 앱을 개발 전문가 2인을 대상으로 시제품 시험(Prototype test)를 실시하여 가독성 증진을 위한 텍스트 요약, 글씨 크기의 확대, 글자체의 굵기 변경, 뒤로 가기 버튼 크기 확대 및 위치 변경 등을 보완하였다.

5. 평가단계(Evaluation)

1) 대상자의 일반적 특성

(1) 사용자

사용성 시험 결과, 1주기에 남성 2명, 여성 3명의 총 5명의 사용자가 참여하였다. 평균나이는 61.0세(54.0∼69.0세)로, 대상자와의 관계는 딸이 3명, 아들이 1명, 배우자가 1명이었다. 교육수준은 대학교 졸업 이상이 3명, 고등학교 졸업이 2명이었고, 스마트폰 앱을 사용한 경험이 있는 사용자는 2명, 없는 경우는 3명이었다.

2주기에는 남성 2명, 여성 3명이 참여하였고, 평균나이는 57.6세(47.0∼70.0)로, 대상자와 관계는 딸이 2명, 아들, 며느리, 사위가 각 1명이었다. 교육수준은 고등학교 졸업이 2명, 대학교 졸업 이상이 3명이었고, 스마트폰 앱을 사용한 경험이 있는 사용자는 3명, 없는 경우는 2명이었다(Table 2).

Table 2.

General Characteristics of Expert and Users(N=14)

(2) 전문가

사용성 시험 결과, 남성과 여성이 각 2명이고, 평균나이는 43.0세(39.0∼47.0)로, 직업은 의사, 간호사, 교수, 앱·IT 개발자가 각각 1명씩이었다. 교육수준은 모두 대학교 졸업 이상이었다(Table 2).

2) 대상자의 앱 사용성 시험

(1) 사용자

사용성 시험 결과는 Table 3과 같다. 1주기의 점수 총평균은 2.55±0.39점이었고, 하위 항목 중 기술(2.87±0.18점)이 가장 높았으며, 컨텐츠(2.51±0.46점), 인터페이스디자인(2.49±0.43점) 순이었다. 기술 영역에서 ‘개인정보보호에 대한 정보를 제시하였다’와 ‘건강관련 개인정보에 대한 보안정책을 제시하였다’ 항목의 점수가 가장 높았으며(3.00±0.00점), 컨텐츠 영역의 ‘건강관리 정보의 수준이 일반인들도 읽기 쉬운 수준이다’와 인터페이스디자인 영역의 ‘앱에 사용된 글자가 보는 이에게 읽기 쉬운 크기와 글꼴로 되어 있다’ 항목의 점수가 가장 낮았다(2.00±1.00점). 이를 보완하기 위해 건강관리 정보의 수준을 보다 쉽게 조정하고, 글꼴 폰트를 기존의 12호에서 15호 크기로 키웠으며, 손가락 모션을 이용하여 글씨크기를 더 크거나 작게 조절할 수 있도록 기능을 추가하고, 글씨 전체를 진하게 설정하였다. 추가로 알림 표시 방법, 로그인 간단 접속 방법, 개인정보 동의방식 간소화, 컨텐츠 흐름 단순화 등을 수정하여 2주기 사용성 시험을 수행하였다.

Table 3.

Usability Testing Results of the App(N=14)

2주기에서 총 평균은 2.65±0.45점으로 상승하였고, 하위 항목 중 기술(2.93±0.15점)이 가장 높았고, 인터페이스디자인(2.67±0.14점), 컨텐츠(2.53±0.39점) 순이었다. 기술 영역에서 ‘개인정보보호에 대한 정보를 제시하였다’와 ‘건강관련 개인정보에 대한 보안정책을 제시하였다’, 인터페이스디자인 영역에서 ‘앱 내 아이콘들을 일관성 있게 그룹화 하였다’, ‘앱의 구조를 한눈에 파악할 수 있다’, ‘앱에 사용된 문구가 간결하다’ 항목의 점수가 가장 높았다(3.00±0.00점). 인터페이스디자인 영역에서 ‘순차적으로 접근 가능하도록 컨텐츠를 배치하여 논리적으로 이해하기 쉽다’ 항목의 점수가 가장 낮게 확인되어(2.20±0.45점), 세부 영역별 내용배치 및 버튼 클릭과 접근방식을 단순화하였다. 추가로 관련 링크 연결방법 수정, 사용자의 출석 보상 등급별 혜택 안내 방법 등을 수정하였다.

(2) 전문가

사용성 시험 결과, 총 평균은 3.05±0.33점이었고, 하위 항목 중 컨텐츠(3.14±0.19점)가 가장 높았고, 기술(3.00±0.72점), 인터페이스디자인(3.00±0.39점) 순이었다. 컨텐츠 영역의 ‘건강관리 정보가 명확하다’ 항목의 점수가 가장 높았으며(3.75±0.50점), ‘건강관리 정보가 이해하기 쉽다’와 ‘건강관리 정보의 수준이 일반인들도 읽기 쉬운 수준이다’ 항목의 점수가 가장 낮게 확인되어(2.50±0.58점), 건강관리 정보 수준을 보다 쉽게 조정하는 등 앱의 내용을 수정·보완 하였다.

Ⅳ. 논 의

본 연구는 ADDIE 모델을 기반으로 ‘치매공감e’ 앱을 개발하여, 치매 대상자의 가족 주부양자 10인과 전문가 4인을 대상으로 사용성을 시험한 방법론적 연구이다. 앱 개발 과정에서 치매 대상자의 가족 주부양자와 보건의료 전문가 각 7인을 대상으로 모바일 앱에 포함될 돌봄 정보와 선호 기능 요구도 조사 결과, 치매관리 매뉴얼, 치매 관련 지식, 치매 지원기관 정보 제공이 중요 내용으로 선정되었다. 또한, 가장 선호되는 디바이스 기능은 심리상태 체크였으며, 추가적으로 요양기관 평가 공유, 위치추적, 상담 기능 추가 등의 요구를 반영하여 앱의 내용을 설계하였다.

앱 개발 후 2주기 사용자 평가에서 총 평균은 2.65±0.45점으로 상승했고, 기술 영역(2.93±0.15점)이 1주기와 동일하게 가장 높게 나타났다. 전문가 평가에서는 총 평균이 3.05±0.33점으로, 컨텐츠 영역(3.14±0.19점)이 가장 높았다. 치매 대상자의 통증관리 앱의 사용성을 시험한 Chi 등(2024)의 연구에서도 의료 전문가가 시스템 유용성, 정보의 내용, 인터페이스의 내용과 만족도 등 모든 척도의 점수가 높게 나타난 것과 동일한 결과를 보였는데, 이는 전문가 그룹이 사용자보다 평균 연령이 낮고 학력 수준이 높아, 컨텐츠의 적합성을 더 높게 평가한 것으로 해석된다. 또한, Shin과 Jang (2019)의 연구에서도 연령이 사용자가 높은 상태에서 전문가의 총 평균이 사용자보다 높아 본 연구 결과와 동일하였다. 하지만 Shin과 Jang (2019)의 연구에서 모바일 앱 총 평가 점수가 본 연구보다 높고, 컨텐츠 영역의 점수가 가장 높게 나타나, 기술 영역의 점수가 가장 높은 본 연구 결과와 차이를 보였다. 이는 본 앱의 경우 강화된 개인정보 보호정책에 맞추어 동의 및 앱 입장방법, 비밀글 기능, 출석보상에 따른 글 작성권한 부여방법 등의 설계를 강화한 결과 보안기능을 평가하는 기술 영역의 점수가 높게 나타난 것이라 생각된다. 또한, 본 연구에서 정신과 신체건강 설문도구가 선행연구의 2개보다 많은 8개로 설문 소요 시간이 길어진 것도 평가 점수가 낮아진 이유로 생각되어, 추후 앱 활용 시 보다 간략하고 효과적인 측정이 가능한 설문도구 활용 방안을 모색해 보아야 할 것이다.

치매 대상자의 주부양자를 위한 mobile Health 앱을 체계적 문헌고찰 한 Zou 등(2024)의 연구에서 mHealth 앱의 전략을 Ghalibaf 등(2019)의 맞춤화로 제시하였다. 개인화는 개인별 사용자를 위해 특별하게 설계되는 것이고, 피드백은 사용자의 심리적 또는 행동 상태에 대한 맞춤형 메시지를 제공하는 것이며, 콘텐츠 매칭은 개인의 변화 단계에 적합한 콘텐츠를 제공하는 것을 의미한다. 본 연구에서 개발된 앱은 이 3가지 맞춤화 전략을 모두 포함하여 설계하였는데, 주부양자에게 개인별로 의사소통 공간에 비밀글 활용이나 공개범위에 따라 자유로운 활동이 설정 가능하게 하고 개인별 목표를 설정하여 도달할 수 있게 도와준다. 또한 정신 및 신체상태 체크를 통해 상태를 피드백 해주고 연계가 필요한 전문가나 기관을 연결해주며, 해당 상태의 변화에 따라 맞춤형 콘텐츠를 연결하거나 지속적으로 앱을 활용하여 건강을 증진시킬 수 있도록 출석 및 참여 횟수에 따른 차별화된 보상을 제공하도록 설계되었다. 이는 Zou 등(2024)의 연구에 포함된 앱 들에서 부족한, 맞춤형 구형(17%), 콘텐츠 매칭(11%), 개인화(6%) 영역을 보완할 수 있으며, 또한 개발 및 설계단계에서 부족한, 전문가를 통한 내용설계 및 검토(20%), 맞춤형 콘텐츠 선택(11%)를 보완할 수 있어 주부양자에게 치매 대상자를 돌보고 자신의 정신과 신체 건강을 증진하는데 유익할 것으로 기대한다. 또한 Plys 등(2025)의 주부양자 스트레스 감소를 위한 마음챙김 기반 모바일 앱 중재 예비연구에서 대조군에 비해 실험군에서 스트레스와 마음챙김의 변화, 돌봄의 긍정적인 측면이 유의미하게 개선되었는데, 본 앱에 G광역시 G구 중독센터 활용허락을 받은 마음챙김 명상 콘텐츠가 주부양자의 정신건강에 결과적으로 신체건강까지 긍정적인 도움을 줄 수 있을 것이라 판단된다.

선행연구에서 전문용어나 특수용어를 사용하면 대상자 또는 가족 주부양자의 교육 및 의사결정에 장벽이 될 수 있고(Links et al., 2019), 건강관리 정보의 난이도가 일반 사용자가 이해하기 어렵다는 피드백을 반영하여, 앱 내용의 난이도를 하향 조정하여 수정하였다. 또한, 치매 환자 가족의 부담, 우울, 불안 등 위축된 심리 특성과(Coffman et al., 2017), 감정지원 기능이 탑재된 것을 고려하여(Shin & Jang, 2019), 본 앱에서도 ‘공감e들과의 희망이야기’라는 콘텐츠를 주 기능 중 하나로 구성하였다. 이 콘텐츠를 사용자들은 특히 앱에서 잘된 부분으로 답하였으며, 서로 이야기를 나누고 공감하는 의사소통 과정이 유익했고, 심리적 위안을 얻었다고 표현하였다. 이는 치매 가족 주부양자가 모두 비슷한 상황에 있는 타인에게서 배움을 얻고, 이를 통해 미래에 겪을 수 있는 일에 미리 대비가 가능하다는 Baker와 Yeates (2017) 주장이 반영된 것으로 생각된다.

Lorca-Cabrera 등(2020)의 건강 웹 및 모바일 앱 중재의 효과성 확인을 위한 체계적 문헌고찰에서는 주부양자를 대상으로 하는 앱의 설계 및 평가에 대한 연구가 부족한 상태였다. 하지만, Guessi Margarido 등(2022)의 주제범위 문헌고찰에서, 총 26편 중 18편이 치매 대상자나 주부양자를 위한 앱이었고, 주부양자만을 위해 개발된 앱 연구는 11편으로 여기에는 치매, 사회화(예: 지원그룹, 소셜 네트워크) 및 자기관리(예: 마음챙김, 일기쓰기) 교육을 위한 구성 요소 및 기능이 포함되어 있었다. 그 중 8편은 본 연구에서 개발한 것과 동일한 안드로이드 기반 앱, 4편은 안드로이드와 iOS (iPhone Operating System) 공용 기반 앱으로 본 연구에서 개발된 앱의 추후 활용도가 넓을 것으로 생각된다. 또한 7편은 앱의 사용성을 시험한 연구, 3편은 앱의 효과성을 확인한 연구였고, 사용성을 시험한 연구에서 주부양자와 치매 대상자 모두를 위한 연구는 6편, 1편이 주부양자 만을 위한 앱으로 주부양자를 위한 사용성 평가를 시행한 본 연구는 학술적 의의가 있다.

선행연구의 경우 대부분 치매 대상자와 주부양자 모두를 위한 교육용 앱이었으며(Guessi Margarido et al., 2022), 그 외 주부양자를 위한 치매 대상자의 통증관리(Chi et al., 2024), 노인돌봄서비스 지원(Fan et al., 2024), 치매예방 및 심리지원(Shin & Jang, 2019), 치매 대상자의 위치와 일상 패턴 알림(Hwang, et al., 2013) 등이 있었다. 그러나 ‘치매공감e’는 추가적으로 주부양자의 신체상태(신체활동, 걷기실천, 근력실천, 수면의 질)를 체크하고 개인별 목표값을 설정하고 정신 및 신체 건강 모두를 분석하여 피드백 해주고 관리할 수 있으며, 개인이 날마다 목표를 설정하고 목표 달성 시 등급별 보상을 제공해 주어 건강을 관리해 준다는 점이 다른 앱 들과 차별화된다. 또한 공신력 있는 웹사이트(중앙치매센터, 보건복지부, 한국치매협회) 링크를 활용하여 최신 데이터를 제공한다. 이를 통해 보건복지부(2020) 조사 결과의 치매 치료 및 간병에서 경제, 정서, 육체적 부담을 줄일 수 있으며 지속적인 앱의 사용을 통해 주부양자들 간의 시·공간을 초월한 의사소통을 통해 서로를 공감하고 치매에 관한 다양한 정보를 제공하며, 치매를 관리하여 경제적 부담을 줄이고, 장기적인 정신 및 신체 건강증진에 도움이 될 수 있을 것으로 기대한다.

시사점 및 향후 연구 방향으로 본 연구에서 개발된 앱은 치매 대상자 가족 주부양자들로부터 긍정적인 피드백을 받았으며, 앱이 치매 대상자 주부양자의 돌봄 정보 서비스를 제공하고 정신 및 신체건강 증진을 위한 실질적인 도구로 활용될 가능성을 확인할 수 있었다. Piette 등(2022)에 의하면 향후 모바일 앱에 인공지능(Artificial Intelligence, AI) 기능을 탑재할 경우 사용자의 진행사항과 요구사항 및 선호도를 활용한 맞춤화된 치료의 제공으로 치매 대상자와 주부양자의 돌봄 결과를 개선할 수 있어, 개발된 앱을 더욱 최적화하기 위해 추후 인공지능(AI)을 활용할 계획이다.

그러나 본 연구에는 몇 가지 제한점이 있다. 첫째, 테스트에 참여한 사용자의 표본크기가 작은 편의표본을 사용하였기에 후속 연구에서는 더 다양한 사용자 집단을 포함한 더 큰 표본크기가 포함되어야 할 것이다. 둘째, 사용성 평가에서 대조군이 없어 앱의 실질적인 효과를 확인하기 어려우므로 향후 비교 대조군을 활용한 효과성 평가연구를 수행할 필요가 있다. 셋째, 개발된 앱은 전문가와 일부 사용자 평가에만 활용된 상태로 추후 지역사회 현장에 적용 및 사용 경험에 관한 정성적 자료를 추가한 실사용 평가연구가 필요하다.

Ⅴ. 결론 및 제언

본 연구는 ADDIE 모델을 기반으로 치매 대상자 주부양자를 위한 돌봄 정보 제공 및 정신과 신체건강 관리 지원 모바일 앱을 개발하고, 사용성을 시험한 방법론적 연구이다.

연구결과, 앱을 통해 사용자는 시간과 장소에 제약 없이 정신 및 신체건강 상태를 평가하고 피드백 받을 수 있으며, 주부양자 간 의사소통 기능을 통해 공감과 정서적 지지를 촉진하는 도구로 활용될 수 있음을 확인하였다. 이러한 연구 결과를 바탕으로 다음과 같은 제언을 한다.

∙ 첫째, 다양한 연령대와 건강상태를 포함한 확장된 치매 대상자 가족 주부양자를 대상으로 한 후속 연구가 필요하다.
∙ 둘째, 후속 연구에서 본 앱이 치매 대상자 주부양자의 돌봄과 정신 및 신체건강 관리에 미치는 효과를 검증하기 위한 대조군을 포함한 효과성 평가 연구를 제언한다. 이를 통해 본 연구에서 개발된 앱이 치매 대상자 및 주부양자의 삶의 질 향상에 기여할 수 있도록 지속적인 개선과 활용 방안을 모색할 필요가 있다.

Acknowledgments

본 연구는 교육부가 지원하는 한국연구재단(NRF)의 생애 첫 연구 지원사업(NRF 2019R1G1A1010373) 지원을 받아 수행되었습니다. 또한 본 연구는 2022년 남부대학교 연구비 지원을 일부 받았습니다.

This research was supported by the First Research in Life Program of the National Research Foundation of Korea (NRF) funded by the Ministry of Education (NRF 2019R1G1A1010373). This study was supported (in part) by research funds from Nambu University, 2022.

References

Alzheimer’s Association. (2022). 2022 Alzheimer's disease facts and figures. Alzheimer's & Dementia, 18(4), 545-868. [https://doi.org/10.1002/alz.12638]
Baker, F. A., & Yeates, S. (2017). Carers’ experiences of group therapeutic songwriting: An interpretive phenomenological analysis. British Journal of Music Therapy, 32(1), 8–17. [https://doi.org/10.1177/1359457517728914]
Choi, E., Seo, H. J., Choo, I. H., Kim, S. M., Park, J. M., Choi, Y. M., & Yang, E. Y. (2023). Caregiving burden and healthcare utilization in family caregivers of people with dementia: Long term impact of the public family caregiver intervention. Geriatric nursing (New York, N.Y.), 51, 408–414. [https://doi.org/10.1016/j.gerinurse.2023.04.005]
Chi, N. C., Nguyen, K., Shanahan, A., Demir, I., Fu, Y. K., Chi, C. L., Perkhounkova, Y., Hein, M., Buckwalter, K., Wolf, M., Williams, K., & Herr, K. (2024). Usability testing of the PACE-App to support family caregivers in managing pain for people with dementia. The Gerontologist, 65(2), gnae163. [https://doi.org/10.1093/geront/gnae163]
Coffman, I., Resnick, H. E., & Lathan, C. E. (2017). Behavioral health characteristics of a technology-enabled sample of Alzheimer’s caregivers with high caregiver burden. mHealth, 3, 36. [https://doi.org/10.21037/mhealth.2017.08.01]
Family Caregiver Alliance. (2022). Caregiver statistics: Health, technology, and caregiving resources. https://www.caregiver.org/resource/caregiver-statistics-health-technology-and-caregiving-resources/
Fan, Q., Hoang, M. N., DuBose, L., Ory, M. G., Vennatt, J., Salha, D., Lee, S., & Falohun, T. (2024). The olera.care digital caregiving assistance platform for dementia caregivers: preliminary evaluation study. JMIR aging, 7, e55132. [https://doi.org/10.2196/55132]
Gallup Korea. (2023, July). Survey on smartphone usage rates & brands, smartwatches, and wireless earphones from 2012 to 2023. Gallup. https://www.gallup.co.kr/dir/GallupReport/GallupReport(20230718)_%EC%8A%A4%EB%A7%88%ED%8A%B8%ED%8F%B0.pdf
Ghalibaf, K., Nazari, E., Gholian-Aval, M., & Tara, M. (2019). Comprehensive overview of computer-based health information tailoring: A systematic scoping review. BMJ Open, 9(1), e021022. [https://doi.org/10.1136/bmjopen-2017-021022]
Gibson, A., McCauley, C., Mulvenna, M. D., Ryan, A. A., Laird, L., Curran, K., Bunting, B. P., Ferry, F., & Bond, R. R. (2016). Assessing usability testing for people living with dementia. In Workshop on ICTs for improving patients rehabilitation research techniques. [https://doi.org/10.1145/3051488.3051492]
Guessi Margarido, M., Shah, A., & Seto, E. (2022). Smartphone applications for informal caregivers of chronically ill patients: A scoping review. NPJ Digital Medicine, 5(1), 33. [https://doi.org/10.1038/s41746-022-00567-z]
Hong, G., Park, K., & Oh, E. (2018). Diagnosis and suggestions for the dementia response system from a nursing perspective. Health and Social Welfare Review, 38(1), 37-63. [https://doi.org/10.15709/hswr.2018.38.1.37]
Hwang, H., Ko, Y., Ban, G., & Kim, C. (2013). Development of a smart app for protecting dementia patients. Journal of the Korea Multimedia Society, 16(9), 1089-1097. [https://doi.org/10.9717/kmms.2013.16.9.1089]
Kim, M. (2014). Development and evaluation of an assessment tool for smartphone apps for health management [Master’s thesis, Seoul National University]. Seoul, South Korea.
Kwak, K. P. (2018). Korean dementia observatory and national responsibility for dementia. Evidence and Values in Healthcare, 4(1), 1-9.
Lee, J. A., Nguyen, H., Park, J., Tran, L., Nguyen, T., & Huynh, Y. (2017). Usages of Computers and Smartphones to Develop Dementia Care Education Program for Asian American Family Caregivers. Healthc Inform Res, 23(4), 338-342. [https://doi.org/10.4258/hir.2017.23.4.338]
Lewis, J. R. (2002). Psychometric evaluation of the PSSUQ using data from five years of usability studies. International Journal of Human-Computer Interaction, 14(3-4), 463-488. [https://doi.org/10.1080/10447318.2002.9669130]
Links, A. R., Callon, W., Wasserman, C., Walsh, J., Beach, M. C., & Boss, E. F. (2019). Surgeon use of medical jargon with parents in the outpatient setting. Patient Education and Counseling, 102(7), 1111-1118. [https://doi.org/10.1016/j.pec.2019.02.002]
Lorca-Cabrera, J., Grau, C., Martí-Arques, R., Raigal-Aran, L., Falcó-Pegueroles, A., & Albacar-Riobóo, N. (2020). Effectiveness of health web-based and mobile app-based interventions designed to improve informal caregiver's well-being and quality of life: A systematic review. International journal of medical informatics, 134, 104003. [https://doi.org/10.1016/j.ijmedinf.2019.104003]
Ministry of Health & Welfare. (2020). The 4rd national dementia plan. [cited 2025 Mar 18]. https://www.mohw.go.kr/board.es?mid=a10401000000&bid=0008&tag=&act=view&list_no=360099
Molenda, M. (2003). In search of the elusive ADDIE model. Performance Improvement, 42(5), 34–36. [https://doi.org/10.1002/pfi.21461]
Piette, J. D., Newman, S., Krein, S. L., Marinec, N., Chen, J., Williams, D. A., Edmond, S. N., Driscoll, M., LaChappelle, K. M., Kerns, R. D., Maly, M., Kim, H. M., Farris, K. B., Higgins, D. M., Buta, E., & Heapy, A. A. (2022). Patient-centered pain care using artificial intelligence and mobile health tools: a randomized comparative effectiveness trial. JAMA internal medicine, 182(9), 975–983. [https://doi.org/10.1001/jamainternmed.2022.3178]
Plys, E., Seward, M., Allen, E. M., Tatar, R. G., Huberty, J., & Vranceanu, A.-M. (2025). Pilot randomized controlled trial of the feasibility of a mobile app-delivered mindfulness-based intervention for caregiver stress. The Gerontologist. [https://doi.org/10.1093/geront/gnaf047]
Shin, Y., & Jang, G. (2019). Development of a caregiving education service app for families of dementia patients. Journal of Health Information and Statistics, 44(4), 419-426. [https://doi.org/10.21032/jhis.2019.44.4.419]
Stinson, J. N., Jibb, L. A., Nguyen, C., Nathan, P. C., Maloney, A. M., Dupuis, L. L., Gerstle, J. T., Alman, B., Hopyan, S., Strahlendorf, C., Portwine, C., Johnston, D. L., & Orr, M. (2013). Development and testing of a multidimensional iPhone pain assessment application for adolescents with cancer. Journal of Medical Internet Research, 15(3), e51. [https://doi.org/10.2196/19jmir.2350]
Sugiyono, S., Aunurahman, A., & Astuti, I. (2022). Multimedia development of student discipline character training at police schools pontianak state. Sinkron: Jurnal dan Penelitian Teknik Informatika, 7(1), 204-213. [https://doi.org/10.33395/sinkron.v7i1.11272]
Zou, N., Xie, B., He, D., Hilsabeck, R., & Aguirre, A. (2024). MHealth apps for dementia caregivers: systematic examination of mobile apps. JMIR aging, 7, e58517. [https://doi.org/10.2196/58517]

Main subjects	Sub contents
My hope bundle	Sharing hope with Gonggam-e, Gonggam-e’s letter of the day, Gonggam-e’s mental health check, Gonggam-e’s physical health check, Gonggam-e’s leisure activities (introduction to leisure activities, recommended walking spots, local family gatherings, dementia partners)
Dementia information bundle	Current status of dementia in korea, personalized dementia management information, dementia support facilities, dementia encyclopedia, announcements, center activities, dementia support programs
Dementia prevention bundle	Dementia self-diagnosis, maintaining brain health, cognitive training for dementia, dementia-related articles
Dementia assistance bundle	Wandering detection, dementia counseling call, finding missing seniors, free promotional materials for missing patients, introduction to dementia care websites
Curiosity resolution bundle	Frequently asked questions, My questions

Characteristics		Expert (n=4)	Users
Characteristics		Expert (n=4)	Cycle 1 (n=5)	Cycle 2 (n=5)
PWD: people with dementia, M: male, F: female, app.: application.
Age (yr), Mean (range)		43.0 (39~47)	61.0 (54~69)	57.6 (47~70)
Expert	1	47
	2	41
	3	43
	4	39
Cycle 1	1		62
	2		69
	3		54
	4		54
	5		66
Cycle 2	1			70
	2			47
	3			53
	4			63
	5			55
Gender, n (%)
Male		2 (50.0%)	2 (40.0%)	2 (40.0%)
Female		2 (50.0%)	3 (60.0%)	3 (60.0%)
Expert	1	M
	2	F
	3	F
	4	M
Cycle 1	1		F
	2		M
	3		M
	4		F
	5		F
Cycle 2	1			M
	2			M
	3			F
	4			F
	5			F
Education, n (%)
< High school		0 (0.0%)	0 (0.0%)	0 (0.0%)
High school		0 (0.0%)	2 (40.0%)	2 (40.0%)
≥Bachelor's degree		4 (100.0%)	3 (60.0%)	3 (60.0%)
Past experience of using the app, n (%)
Yes		4 (100.0%)	2 (40.0%)	3 (60.0%)
No		0 (0.0%)	3 (60.0%)	2 (40.0%)
Occupation
Expert	1	Doctor
	2	Nurse
	3	Professor
	4	App development specialist
Relationship with the PWD
Cycle 1	1		Daughter
	2		Spouse
	3		Son
	4		Daughter
	5		Daughter
Cycle 2	1			Son
	2			Sibling
	3			Daughter-in-law
	4			Spouse
	5			Daughter

Variables		Experts (n=4)	Users
		Experts (n=4)	Cycle 1 (n=5)	Cycle 2 (n=5)
		M±SD	M±SD	M±SD
App.: application, M±SD: Mean±Standard deviation.
Usability test		3.05±0.33	2.55±0.39	2.65±0.45
Content		3.14±0.19	2.51±0.46	2.53±0.39
Accuracy	Health care information is reliable	3.00±0.00	2.80±0.45	2.80±0.45
	Health care information is clear	3.75±0.50	2.80±0.45	2.40±0.55
Understanding	Health care information is easy to understand	2.50±0.58	2.60±0.55	2.40±0.90
	Health care terminology is familiar to the general public	3.00±0.00	2.40±0.89	2.60±0.55
	The level of health care information is easy for the general public to read	2.50±0.58	2.00±1.00	2.40±0.90
Objectivity	Health care information is professional information	3.50±0.58	2.60±0.55	2.60±0.55
	Health care information is systematic and specific	3.25±0.50	2.60±0.55	2.40±0.55
	There is an indication that the information is provided by a competent authority	3.25±0.50	2.60±0.55	2.60±0.55
	Health care professionals provide health information	3.50±0.58	2.20±0.45	2.60±0.55
Interface design		3.00±0.39	2.49±0.43	2.67±0.14
Consistency	Consistent color, placement and presentation	3.00±0.82	2.40±0.55	2.40±0.89
	Arrangement of icons in the app is integrated with the overall app design	3.25±0.50	2.20±0.84	2.60±0.55
	In-app icons are grouped consistently	3.25±0.50	2.80±0.45	3.00±0.00
Design suitability	Logical content is easy to understand by arranging content to be accessible sequentially	3.25±0.50	2.80±0.45	2.20±0.45
	Articulate what the icon means	3.00±0.00	2.80±0.45	2.40±0.55
	The letters used in the app are in a size and font that is easy for the viewer to read	2.50±1.00	2.00±1.00	2.60±0.55
	Visual elements are comfortable for the user	2.75±0.96	2.20±0.84	2.80±0.45
	I can understand the structure of the app at a glance	2.50±1.00	2.80±0.45	3.00±0.00
Vocabulary accuracy	The phrase used in the app is concise	3.00±0.00	2.20±0.84	3.00±0.00
	The phrase used in the app is correct	3.25±0.50	2.40±0.89	2.80±0.45
	The phrase used in the app is correct	3.25±0.50	2.80±0.45	2.60±0.55
Technology		3.00±0.72	2.87±0.18	2.93±.015
Security	Presented information on privacy	3.00±0.82	3.00±0.00	3.00±0.00
	Proposed security policy for health related personal information	3.25±0.50	3.00±0.00	3.00±0.00
	There is a description of the security system for creating a safe app usage environment	2.75±0.96	2.60±0.55	2.80±0.45