따릉이 데이터와 날씨 데이터가 어느 정도 수집된 후 Google Data Studio를 이용하여 따릉이 대시보드를 구축하였다. 대시보드는 크게 두 페이지로 구성되어 있으며 각각 페이지 1은 실시간 따릉이 현황과 날씨를, 페이지 2는 따릉이 관련 통계 히스토리를 표현하였다. 페이지 1(실시간 현황) 페이지 1은 '스테이션별 실시간 사용량 + 지도, 실시간 서울 날씨, 실시간 서울 미세 먼지 지도'로 구성했다. 위에 행정구를 선택할 수 있는 드롭다운 컨트롤러도 추가 후에 내가 살고 있는 강동구만 따로 선택해봤다. 페이지 2(따릉이 히스토리) 페이지 2는 '스테이션별 따릉이 사용량 + 추이, 스테이션별 따릉이 거치율 + 추이'로 구성했다. 원래는 문제가 발생하지 않았는데.. 사용량 부분이 아무리 새로 고침을 ..

최근 6자리 생년월일(ex. 920923, 651201, 020816)을 나이로 변환해야 할 작업이 있었다. 이를 위해 우선 6자리 생년월일을 8자리로 바꾸는 작업이 필요하였다(920923 -> 19920923). 그 후 8자리 생년월일과 오늘 날짜의 차이를 이용해서 최종적으로 나이로 변환했었다. PostgreSQL의 경우 자체적으로 Age 함수를 제공하지만 내가 사용하는 MySQL의 경우 생년월일을 알아도 직접 구해야하는 번거로움이 존재한다. 생년월일 6자리 → 8자리 서비스를 이용하는 유저 중 0세와 100세 이상은 없을것이라 하는 아주 나이브하면서도 합리적인 가정을 통해 6자리 생년월일 중 앞 2자리가 21 보다 큰 경우는 모두 19를 붙여 주었고, 21 보다 작거나 같은 경우는 모두 20을 붙여 ..

쿼리문을 작성할때 때로는 데이터의 type을 변환해야 하는 경우가 존재한다. 이런 경우 MySQL에서는 CAST와 CONVERT 함수를 이용하여 데이터 type 변환이 가능하다. 데이터 type 변환을 필요에 의해 하기 위해서는 MySQL에는 어떠한 데이터 type들이 존재하는지도 알아야 하기 때문에 이 포스트에서는 type 변환 방식과 type 종류들에 대해 모두 알아보려고 한다. CAST & CONVERT CAST를 이용한 type 변환 문법은 다음과 같다. CAST type 변환할 값 AS 변환할 type CONVERT를 이용한 type 변환 문법은 다음과 같다. CONVERT(type 변환할 값, 변환할 type) 이들을 각각 사용한 예시는 다음과 같다. 1. 현재 시간을 SIGNED type으로..

평소 특정한 문자열에 대한 검색을 할 때 LIKE가 사용하기 편하다는 이유로 REGEXP는 이용해본 경험이 거의 없다. 하지만 REGEXP 정규표현식을 활용하여 LIKE 보다 조금 더 복잡한 문자열 조건을 부여할 수 있기 때문에 이번 포스트에서는 LIKE와 REGEXP 대해 모두 정리해보려고 한다. LIKE LIKE는 WHERE절 안에 사용되며 문자열 내에서 조회하고 싶은 문자열을 찾는 함수이며 WILDCARDS(와일드 카드) 문자들과 함께 사용된다. MySQL의 LIKE에서 사용되는 와일드 카드 문자는 다음과 같다. %: 0개 이상의 문자를 대신 표현 _(under bar): 1개의 문자를 표현 이에 대해 구체적인 예시를 보면 다음과 같다. % 사용 # %ab: 앞 부분과 상관 없이 맨 마지막이 ab로..

원래 기존에는 따릉이 현황과 이용량 히스트리만으로 대시보드를 구성하려고 했으나 대시보드를 더욱 풍부하게 구성하기 위해 날씨 데이터도 수집을 진행했다. 대시보드 까지 완성 후 모델링을 진행하기 위해 날씨 외에 따릉이 사용량에 영향을 미칠 것으로 예상되는 데이터들을 추가로 수집 후 RDS에 올려두었다. RDS에 올린 데이터들은 다음과 같다. 1. bike_raw_table: 따릉이 데이터 2. fine_dust_table: 미세먼지 데이터 3. han_park_location_table: 서울 한강 공원 좌표 데이터 4. park_location_table: 서울 공원 좌표 데이터 5. seoul_population_table: 서울 인구 데이터 6. station_meta: 따릉이 정류소 데이터 7. we..

따릉이 프로젝트를 위해 가장 먼저 데이터 수집이 필요하여 서울특별시 공공자전거 실시간 대여정보를 활용하였다. 이제 작성할 구체적인 내용들은 지금 보면 매우 단순하지만 매우 많은 우여곡절이 있는 과정이였다. 1. Open API 불러올 코드 작성 위 페이지를 들어가서 설명을 읽어보면 제공하는 url을 호출하여 제공하는 데이터를 json 형식으로 받아올 수 있다고 한다. 이를 위해서는 인증키가 필요하여 인증키를 신청 후 데이터를 어떻게 불러올지에 대해 고민을 했다. 위 데이터의 설명을 보면 한번에 모든 정류장을 가져 오지 못하고 1000개 까지만 가져올 수 있다고 해서 그 부분도 고려하여 코드를 작성했다. 처음에는 5분 단위로 데이터를 불러오려고 했으나 데이터가 너무 많이 쌓여서 Google Data Stu..