[KT AIVLE School(에이블스쿨)] - 3주차 후기(미니프로젝트 1차, 웹 크롤링, 1차 코딩마스터스)

에이블 스쿨 3주차(8.21 ~ 8.25) - 4기 AI트랙

첫 번째 미니프로젝트와 코딩마스터스 1차가 시작되는 주

 

 

미니프로젝트 1차(8.21 - 8.23)

이전까지 배웠던 데이터 처리와 분석에 관한 미니프로젝트가 진행되었다.

반커뮤니티에 매니저님이 조 편성을 올려주셨고 우리반은 2개의 조가 있었다 !

우리반은 대부분 대면 교육장을 신청해서 서로 실물(?)을 보고 협업할 수 있었다.

 

미니프로젝트 첫 날과 둘쨋날은 서울시 대중교통 수요 정보 분석으로 미션은 버스 노선 추가가 필요한 서울 자치구를 선정하는 것이다. 먼저 개별적으로 주어진 데이터를 처리하고 분석하는 시간을 가졌다. 

자치구 별로 칼럼들의 값을 확인해보고 결측치를 처리하는 등 다양한 데이터 처리를 진행하였다.

또한, 시각화와 수치화를 통해 데이터를 분석해보고 어떤 가설을 통해 미션을 해결할 수 있는 결론을 만들어낼지 스스로 생각해보았다. 

 

노션을 통해 본인이 분석한 결과 공유

 

이후, 조별로 본인이 진행했던 분석 방법과 가설을 발표하고 공유하는 시간을 가졌다.  

조원분들 모두 나름 능력자셨고.. 다양한 의견과 분석과정을 들을 수 있어서 흥미로웠다. 

 

개별적으로 실습을 진행할 때, 기억남았던 것이 자치구 별 승차총승객수와 하차총승객수를 통해 유입 인구와 유출 인구가 가장 많은 자치구나 가장 적은 자치구를 구하는 것이었다. 이를 활용하여 가설을 세울 수 있지 않을까 해서 혼자 연관성을 오랫동안 생각하고 칼럼을 추가하여 분석을 진행했다.. 하지만 만족스러운(?) 상관관계는 얻지못하였고 이 가설을 설명하는 것 조차 스스로가 어려웠다. 

나중에 조원분들이나 다른 조 발표하는 내용을 볼 때, 주어진 기본 칼럼들을 통해 가설을 세워 검증하는 것만으로도 충분했을 것이라 생각한다. 너무 어렵고 복잡하게 생각하는 것보다 먼저 기본에 충실하자...😐

 

미니프로젝트 마지막날에는 서울시 따릉이 수요 예측을 주제로 공유 자전거인 따릉이의 수요와 날씨간에 연관성을 분석하는 것이 미션이었다 ! 

이 역시 먼저 개별적으로 가설을 설정하고 단변량 분석과 이변량 분석을 통해 데이터를 분석하여 스스로 인사이트를 도출해보았다. 분석 전, 가설을 설정하면서 온도와 따릉이 수요가 많은 관련이 있을 것이라 생각했는데, 분석 결과 생각보다 깊은 관계가 보이지 않았다. 이는 데이터가 사계절의 온도로 고르게 분포되어있지 않을 것이라는 의견을 얻을 수 있었다.

 

온도와 따릉이 수요의 연관성을 더욱 파헤치기 위해!! 수치형 자료를 범주형 자료로 바꾸어 분석을 시도해보았다. 범주형 자료로 바꾸기 위해 도메인 분석을 진행해보았다. 온도는 쾌적온도를 검색해보니 계절마다 다르지만 대략 18-27도가 적정온도로 여겼다. 적정 온도일 경우 1, 아닐 경우 0인 칼럼을 추가하여 분석을 진행하니 수치형 자료보다는 따릉이의 수요에 더욱 연관성이 있는 결과를 볼 수 있었다. 

추가적으로 미세먼지 수치 또한 농도 기준을 검색하여 '좋음, 보통, 나쁨, 매우나쁨' 이라는 범주로 나누어 분석해 볼 수 있다.

 

웹 크롤링

웹 페이지에서 데이터를 수집하는 방법인 웹 크롤링 수업이 이틀간 진행되었다.

먼저 웹페이지는 이벤트에 의해 화면 변경이 없는 페이지인 정적 페이지와 이벤트 발생에 의해 데이터를 가져와 화면 변경이 되는 동적 페이지가 있다. 

 

크롤링을 위한 단계

1. 웹 서비스인 url 분석 - 크롤링하고자 하는 웹 페이지에서 개발자 도구를 통해 페이지가 로드될 때 Header와 Response 데이터를 확인하여 url 가져오기

2. 서버에 데이터 요청 - url을 request 하여 response 데이터 얻기

3. 얻은 데이터 파싱 - json 형태 ➝ 리스트와 딕셔너리 형태 ➝ 데이터프레임 형태

* json 문자열로 받아 파싱하는 방법은 주로 동적 페이지일 때

* html 문자열로 받아 파싱하는 방법은 주로 정적 페이지일 때

 

이 방식으로 네이버 증권 사이트에서의 주가 데이터 수집, 직방 원룸 매몰 데이터 수집, 네이버 연관 검색어 수집, 지마켓 베스트 상품 이미지 수집 등 다양한 웹 크롤링 실습을 할 수 있었다. 또한, 네이버 파파고 번역 등 api를 이용하는 방식도 추가적으로 진행하였다. 

브라우저를 직접 열어 데이터를 수집하는 방법인 selenium은 가장 속도가 느리고 추천하는 방식이 아니다. 

하지만 나는 이전에.. 프로젝트를 진행하면서 웹 페이지에서 이미지 크롤링을 하는데 뭣도 모르고 selenium 방식을 통해 오랜시간을 걸려 이미지를 어렵게 수집한 경험이 있다..  지식 부족으로 몸이 고생한 나 자신,, 반성,,,😓

 

코딩마스터스(1차)

1차 미니프로젝트를 시작하는 날짜에 코딩 마스터스도 시작되었다 !! 

코딩하는게 힘들고 어려운 전공자 1인.. 마스터스 도전해 볼 수 있을까..? 😧

 

기초 20문제를 풀고 초급 문제를 천천히 풀고있는 현재... ai 개발자트랙에는 괴물들이 상당히 많은 것 같다.

전체 랭킹이 보이는데 우리반 에이블러분들도 상당히 많다.. 우리반 능력자반.. 

미니프로젝트를 진행하는날 대면 교육장에서도 쉬는시간이나 점심시간에도 코딩 마스터스 이야기를 하며 열심히 하고 계신 모습들을 볼 수 있었다. 

 

나도 알고리즘 공부도 꾸준히 진행하며 도전해보아야 겠다고 다짐했다..!  1차는 9월 말까지였던걸로 기억하는데 랭커까진 아니더라도 최선을 다해야지🫠 

 

1차 코마 끝날 때 쯤 제대로 된 후기를 가져오겠습니다 !!! 가보자고