사전~팀플 1주차 2일 (2024-01-28 ~ 2024-01-13)
주제 선정 및 고도화
✏️ 학습 내용
여러 차례 회의를 거쳐 최종 주제를 선정하고 멘토링 후에 고도화 작업을 거쳤다.

1. 주제 선정
2024-01-28 ~ 2024-02-05 (9일)
- 주제 아이디어 공유(1.28)
- 추가 논의(1.30)
- 아이디어 2가지 확정(2.3)
1) 주제 아이디어 공유
여러 주제를 적고, 하나씩 논의하면서 의견을 좁혔다. 그리고 4가지를 도출해냈고, 이를 더 고도화하여 선정하기로 하였다. 일단 시각장애인용 지도와 비정형 데이터를 활용하는 방향으로 가고, 정 안 될 것 같으면 날씨에 따른 농산품 품질 가격 예측을 하기로 하였다. 다른 실시간 데이터 아이디어가 있다면 이를 고도화하여 가져올 수도 있다.
정석으로 보이는 것은 날씨에 따른 농산품 품질 가격 예측이지만, 무언가 더 흥미롭고 재미있어 보이는 것은 지도나 비정형 데이터 활용이었다. 포트폴리오를 만들고 싶었지만 새로운 도전이 더 눈에 들어왔다.

2) 추가 논의
프로젝트 방향성, 목표에 따라 결과물이 나오고, 그 안에서 기술에 대한 고민과 시도를 하며 학습을 하는.. 경력자에겐 학습용이지만 신입에겐 포폴이 될 수 있는 용도의 주제를 선정하기로 하였다.
회의 시간 단축 및 빠른 아이디어 공유를 통한 의사결정을 위해 사전에 주제, 목적, 목표, 데이터, 결과물에 대해 고도화된 의견을 가져오기로 했다.
아래의 내용을 요청했고, 상세한 예시도 적어서 전달했다. 본 내용을 바탕으로 확정할 예정이다.
📌 주제와 이에 대한 명확한 목적, 목표 설정
- 주제 타이틀 정의(목적 정의)
- 프로젝트를 왜 수행하려고 하는지, 프로젝트가 완료되고 성공적으로 실행될 경우 어떤 이점을 얻을 것인지(문제 정의)
ㄴ 해결하고자 하는 문제가 무엇인지 (생략 가능)
ㄴ (방향성 설정) 어떻게 할 것인지 방향성 (생략 가능)
ㄴ (목표 정의) 어디까지 할 것인지, 목적을 실현하기 위해 구체적으로 달성해야 할 결과물이나 상태
- 결과물 생각한 것이 있다면..
📌 필요한 데이터 및 자원
- 어떤 데이터를 수집하거나 활용할지
- 데이터 가용성과 접근성 (어디에서 어떻게 얻을 수 있는지)
주제 : 음악 트렌드 분석 대시보드 (웹사이트에 대시보드 차트 임베디드해서 구현하기)
목적 : 현재 음악 산업의 동향과 사용자들의 음악 취향을 이해하고, 음악 시장의 변화 및 추세를 파악
목표 :
- 다양한 음악 플랫폼에서 제공되는 음악 데이터를 수집하고 분석합니다.
- 음악 장르, 아티스트, 앨범 등의 데이터를 기반으로 음악 트렌드를 파악하고 주요 트렌드를 식별합니다.
- 사용자의 음악 선호도와 동향을 분석하여 인기 있는 음악 장르 및 아티스트를 파악합니다.
- 음악 트렌드의 변화를 시간에 따라 추적하고 예측합니다.
- 분석 결과를 시각화하여 음악 산업 관계자 및 음악 제작자들에게 유용한 인사이트를 제공합니다.
- 음악 트렌드 분석을 통해 음악 산업의 전반적인 상황을 이해하고 음악 제작 및 마케팅 전략을 개선하는데 기여합니다.
데이터 소스:
- 음원 스트리밍 플랫폼 데이터:
- Spotify, Apple Music, YouTube Music : 음악 데이터
- 플랫폼에서 제공하는 API를 사용하여 음악 스트리밍 횟수, 재생목록 정보, 사용자 선호도 등을 수집
- 소셜 미디어 데이터:
- Twitter, Instagram, Facebook : 사용자들의 음악 관련 활동을 포함한 데이터
- 해시태그, 멘션, 공유된 링크 등을 분석하여 음악 트렌드를 파악
- 음악 차트 및 블로그 데이터:
- 음악 차트 (Billboard, Melon 등)와 음악 블로그, 웹사이트 등에서 제공되는 음악 차트 데이터, 음악 리뷰, 인기 있는 아티스트 및 앨범 정보 등을 수집
- 온라인 포럼 및 커뮤니티 데이터:
- Reddit, Quora, 음악 포럼 등에서 제공되는 음악 관련 토론, 의견, 리뷰 등을 분석하여 음악 트렌드를 이해
3) 주제 2가지 선정
① (보행 약자를 위한) 보행자용 지도 만들기 (지도 차트 대시보드)
② 유튜브 트렌드 및 채널 특성 대시보드 (웹 페이지orBI 툴)
- 주제
- 핵심 기능, 기대 효과
- 목표 및 의도, 구현 내용 및 범위, 사용할 기술 스택이나 도구 (구상안)
- 시각화 및 결과 계획, 실행 계획, 고민되는 부분
주제를 2가지 선정했고, 결정을 내리기 힘들어서 멘토님께 위와 같은 부분을 설명하여 도움을 얻고자 했다. 결국 둘 다 구현 가능성이 있으니 알아서 판단하라는 의견을 주셨고, 우리끼리 직접 결정하였다. 유튜브를 활용하기로 하고, 조금 해보다가 안 될 것 같으면 지도로 노선을 바꾸기로 했다.
2. 주제 고도화
2024-02-06 ~ 2024-02-13 (8일)
- 주제 고도화 의견 (2.8)
- 주제 최종 확정 및 기획 (2.13)
1) 주제 고도화 의견
이제 유튜브 데이터로 최종적으로 어떻게 할 것인지, 어떤 데이터를 써서 어떤 일을 수행하여, 최종 결과물을 어떻게 할 것인지에 대해 생각해보았다. 데이터셋을 찾고 어떻게 활용할지가 관건이다. 여러 아이디어가 있었고, 유튜브 중에서도 특화된 카테고리를 다루기로 하였다. 여러 후보 중에 어떤 것이 좋을지는 각자 생각하기로 했다.
2) 주제 최종 확정 및 기획
주제를 확정했다. 유튜브와 요리를 접목하여 유튜브 레시피 중에 최저가 요리를 찾아주는 서비스이다. 꽤나 로직이 복잡할 것 같지만 시도해보기로 했다. 결정은 금방 했다. 간략한 기획과 데이터 찾기를 실질적으로 들어갔다. 이 외에도 ERD, 소프트웨어 아키텍처 설계를 수행하기 시작했다.
3. 주제 확정
세부적인 기획 내용은 활용 가능한 데이터를 파악한 후에 바뀔 수 있다.
아이디어를 낸 팀원이 작성한 내용을 발췌해왔다.
주제 : 가장 저렴하게 만들 수 있는 요리 유튜버(혹은 유명) 레시피 검색 서비스
(1) 문제 인식
- 국제 정치•경제 인플레이션 영향으로 무서운 줄 모르고 올라가는 식료품 원가
- 최대한 가성비 좋게 식료품, 원자재 구매하고자 하는 수요
- 같은 음식이라도 빠르고 맛있는 레시피일수록 사람들의 선호가 클 거라는 수요 가정, 예상
- 조회수 높은 요리 유튜버의 레시피 영상 OR 만개의레시피 사이트 에서 주로 발견 가능
(2) 수집 가능한 데이터 및 활용법
- 식료품
- API든 크롤링이든, 가격은 물론이고 용량이 나와 있어야 함. 그래야 용량 대비 가격 값 구할 수 있기 때문
- 리뷰 수, 찜 수 등의 인기 척도를 품질 보증 정도에 대한 값으로 활용 가능
- 모든 검색 결과에서 최저가를 구해 활용? 혹은 평균값이나 중앙값 활용?
- <다나와>의 식료품 버전과 유사한 서비스가 없다면, 이걸 만드는 것만 해도 이미 하나의 주제로 충분한 거대 주제일수도…
- 주제 아이디어 중 하나로 나왔던 <농산물 가격 예측>의 연장선으로 생각할 수도.
- 네이버 쇼핑 API: https://developers.naver.com/docs/common/openapiguide/apilist.md
- 검색API 중 네이버 쇼핑 검색 결과를 반환하는 API 존재
- 네이버 장보기 크롤링
- https://shopping.naver.com/market/search?q=양배추&tr=mkss
- 그 외
- 네이버 장보기/쇼핑 검색 결과로 나오지 않았던 컬리, 쿠팡 등
- <다나와> 같은 완성된 물가 정보 제공 사이트 찾아보고 크롤링
- 레시피
- 요리 유튜버 채널 크롤링
- 중에서도 게시물 본문 or 댓글에 영상 속 레시피(재료&준비량)를 글로도 게시해 준 자료에 국한!!
- 만개의 레시피, 이밥차, 네이버 요리 등
- https://www.10000recipe.com/
- 레시피 데이터베이스 API
- https://www.edamam.c om/
(3) 결과물 동작 단계
사용자가 메뉴명 검색 → (각종 크롤링을 통해 이미 레시피 정보 저장해 둔 상태) 해당 메뉴의 레시피 정보들 fetch *레시피 정보가 포함하는 것: 원본 자료 URL과 조회수, 게시 날짜, 재료명, 용량, (유튜브: 영상 길이, 만개레시피: 요리소요시간), … → 저장해 둔 최신 식료품 가격 정보와 결합해 fetch해온 레시피대로 완성할 경우 필요한 총 금액 산출 → 레시피 중 최저 총 금액값 나온 레시피를 결과로 반환해 사용자에게 보여줌
💡 배운 점
- 사공이 많으면 배가 산으로 간다.
- 의견을 확립하기 위해서는 결단력이 필요한 것 같다.
- 목표 달성과 문제 해결을 위해선..
- 목표, 문제를 적는다.
- 목표, 문제를 구체화한다. 언제까지 누가 무엇을 해서 어느 수준만큼 달성(해결)하면 얻는 것이 무엇인지?
- 필요한 자원이나 조건을 열거한다. 목표를 달성하거나 문제를 해결하는 데 필요한 것은 무엇인지? (ex. 기간, 기술, 정보 등)
- 언제까지 무엇을 해내면 성공적인지 기간으로 분해한다. 무엇부터 해야 할지 생각해서 기간으로 분해한다.
🔖 잘한 것과 잘못한 것
- 미리 양식을 만들어서 주제 의견 제시 아이디어를 고도화된 의견만 받을 수 있었다. 예시를 통한 설명으로 의미 전달이 잘 되었다.
- 하지만 주제 선정 과정에서 너무 많은 아이디어로 인해 시간이 많이 소요되었고, 주제에 대해 가능성 및 활용성을 파악하는 통찰력이 부족하여 결단력이 부족했다.
📝 남아있는 의문과 개선점
- 팀프로젝트에서 올바른 주제 선정을 위해서는 무엇부터 살펴보아야 하는 것일까?
☁️ 소감
주제를 정하는 것이 이렇게 어려울 줄은 몰랐다. 길어도 1주일이면 되려나 싶었는데 자그마치 2주가 소요되고 말았다. 좋은 아이디어들이 넘쳐나서 고르기 힘들었고, 어떻게 하면 좋을지 몰라서 결단이 부족했다. 좀 더 배워야 겠다는 것을 다시금 깨달았다. 아는 것이 힘이다, 아는 만큼 보인다.
협업과 소통에 있어서도 많이 배울 수 있는 시간이었다. 자신감 있는 의견 피력을 위해서 좀 더 배우고 익혀야 겠다는 생각도 하게 되었다. 다음에는 지금보다 더 나은 모습으로 멋있게 주제를 확정할 수 있기를.
'Data Engineering > grepp 데브코스 : 프로젝트' 카테고리의 다른 글
| 최종 팀플 (3) 데이터 엔지니어링 : 데이터 분석, 크롤링, ETL (1) | 2024.04.27 |
|---|---|
| 최종 팀플 (2) 프로젝트 세팅 : 개발 기획서, 일정 및 마일스톤, 역할 분담 (0) | 2024.03.05 |
| 최종 팀플 (0) 사전 준비 : 팀 빌딩, 협업 준비, 프로젝트 세팅 (3) | 2024.03.04 |
| (참고) 프로젝트 당부 사항 (0) | 2024.03.04 |
| [12주차_팀플03] End-to-end 데이터 파이프라인 구성하기 (0) | 2024.02.14 |