사전 2주 (2024-01-26 ~ 2024-02-11)
2024-01-26 팀 빌딩
2024-01-28 첫 회의
대부분이 주제 선정 내용이며,
결국 주제 확정은 2024-02-13에 완료하였음
사전 준비
: 팀 빌딩, 협업 준비, 프로젝트 세팅
✏️ 학습 내용
데브코스 최종 프로젝트 안내
📆 프로젝트 기간 : 2/12 ~ 3/10 총 29일간 (3/8 보고서 마감, 3/11 프로젝트 발표)
본 프로젝트의 목표는 현재까지 본 과정을 통해 배운 모든 기술을 활용하여 최종 결과물을 구현하는 것으로서, 프로젝트의 모든 기획과 구현은 수강생들이 주도적으로 진행 할 예정입니다. 유닛 테스트와 CI/CD가 적용되거나, 머신러닝/인공지능 모델이 서비스의 일부가 되도록 구성할 수 있어야 합니다.
최종 프로젝트 팀 빌딩 및 진행 안내
최종 프로젝트는 이전과 마찬가지로 자율 팀 구성의 시간을 드리고 있으나, 운영진의 개입 없이 가급적 팀원들의 재량에 따라 팀 구성을 할 수 있도록 진행하고자 합니다.
아래 안내 사항을 잘 확인 하시어 최종 프로젝트 팀 빌딩을 진행 하시기 바랍니다.
- 프로젝트 조 편성
- 기존과 마찬가지로 12개의 조 편성 예정입니다.
- 조 편성
- 프로젝트 리더로서 참여하고자 하시는 분들은 #02기-프로젝트 채널을 통해 타 팀에 있는 조원을 모집할 수 있습니다.
- 프로젝트 리더는 3인 ~ 5인 조를 구성할 수 있습니다.
- 모든 수강생은 위와 같이 모집되는 프로젝트를 확인하여 조원 지원을 할 수 있습니다.
- 팀 구성을 확인 하여 멘토님들께서 담당 팀을 선택하실 예정입니다. 혹 담당을 원하는 멘토님이 있으신 경우 팀 구성을 완료하여 멘토님께 요청 하시는 것 또한 가능합니다.
- 조 편성을 진행하지 않으신 분들은 랜덤으로 팀 구성이 진행 될 예정입니다.
- 조 편성 마감
- 모든 조는 1월 26일 금요일 까지 조를 편성하여 하인리히 매니저에게 DM 부탁 드립니다.
- AWS 계정 지원
- 각 조의 프로젝트 리더를 통해 AWS 계정 지원을 할 예정입니다.
- 모든 팀은 AWS 관리가 가능한 AWS 관리 담당자를 지정하시어 계정 사용 안내 전달 받기 바랍니다.
- 상세 안내 사항은 미리 구성된 페이지를 참고하시기 바랍니다.
- 지나친 비용 청구, 보안 이슈로 인해 사용 제약이 있을 예정입니다. 위 안내 사항을 잘 참고하시기 바랍니다.
- 프로젝트 피드백
- 최종 프로젝트 기간 동안은 프로젝트 피드백에 맞춰 개인 별 상담이 아닌, 조 별 상담을 진행하고자 합니다.
- 조 별 상담 때는 프로젝트 피드백에 집중하여 진행 될 예정입니다.
- 매주 진행하시던 팀 미팅과는 무관합니다. 따라서 팀 미팅은 그대로 매 주 진행 부탁 드립니다.
- 기타 안내 사항
- 한 큐에 모든 결과를 내려 하기보다, 최소 기능 버전부터 만드는 식으로 여러 차례 iteration을 돌도록 구현 하시는 것이 좋다는 것을 안내 드리고 싶습니다. 중간 중간 시간이 부족하더라도 뭔가 부분적으로라도 동작하는 것을 만드시는 것이 중요합니다.
- 3/11 월요일 최종 프로젝트 결과에 대한 발표가 진행되기에 2/12 ~ 3/10 기간 동안은 최종 프로젝트를 마무리 하고 나머지 발표 작업 등을 진행하시는 것을 권장합니다.
사전 준비
요약하자면 이제까지 배운 내용을 바탕으로 한 달 동안 5명이서 팀프로젝트를 진행하는 것이다. 프로젝트 공식 시작일 전에 미리 규칙이나 주제를 정하고, 시작일부터 본격적으로 집중하고자 미리 모였다.
- 팀빌딩 : 다른 분의 연락을 받아 조인하였고, 이전 프로젝트에서 같이 했던 사람들에게 연락하며 모였다.
- PM을 하기로 했다.
- 멘토 선택 : 원하는 멘토님을 요청할 수 있는데, 1순위로 원했던 분은 너무 인기가 많아서 금방 팀이 채워졌고, 2순위로 다른 분의 추천을 받아서 멘토님을 선택했다.
어쩌다보니 4번의 프로젝트 모두 팀원과 멘토님 모두 다 다른 분들과 수행하게 되었다.
- 협업 준비 : 팀 규칙, 의사소통 수단, 회의 일정, 협업 툴, 협업 채널 세팅 등
- 프로젝트 사전 준비 : 주제 선정, 프로젝트 목표와 범위 협의, 일정 및 마일스톤, 역할 분담 등
하지만 `프로젝트 사전 준비`는 원하던 것처럼 금방 해내기 쉽지 않았다. 결국 프로젝트 시작 후에 주제가 선정되어 이후에 본격적으로 작업을 하게 되었다.
노션을 생성하기 전에 내가 구상했던 주제나 프로젝트 진행 프로세스에 대해서는 아래에 정리했다. PM을 맡아서 프로젝트 관리를 위해 노션 페이지에 모든 내역을 자세히 정리해두었다.
https://www.notion.so/data-teamproject/59ceb84533e348dfafd0a8daa72f9e9d
1차 주제 구상 (2024.01.20~01.28)
A안 주제 구상
1) 주제 :
사람들의 경각심을 일깨워주기 위한 지구온난화 관련 온라인 전시회
- 지구온난화와 관련된 시각화 그래프를 그림처럼 전시하는 느낌으로.. 수치 보여주고, 환경 보호 후원까지 연결하기?
- 1관, 2관, 3관으르 각 페이지로 구성하여 주제에 맞는 그래프 보여주기
- 일단 최소한으로 제작 후에 2관, 3관 등 늘려가면 좋으려나
(1) 국내 지표만 이용하기 >> 빅데이터 처리하려면 국내 지표만으론 부족할수도?
- 한국에서도 탄소 중립 실천하려고 하는데, 이에 따라 지구온난화가 어떻게 변하고 있는지에 대한 대시보드?
= 여태까지 어떻게 지구온난화가 진행되었고, 현재 탄소 중립 실천하는 중인데 잘 실천되고 있는지 현황, 그리고 앞으로 어떻게 될지 예측
(2) 전세계 지표 이용하기
- 부제 : 보금자리? (사라져가는 보금자리, 지구온난화 현재 지표)
- a) 해양 데이터 >> 사라지는 해양생물, 해수면 온도 변화와 태풍의 상관관계?
- b) 빙하 및 빙산 >> 빙하가 녹는다. 그로인한 현상들 분석?
- c) 생태계 데이터 >> 나무가 사라지고..
- d) 기상이후로 인한 자연재해, 질병 등.. >> 결국 인간의 보금자리도 빼앗겨간다.
- 동물(인간 포함)을 초점으로..
- (스핀오프) 바다 데이터로 한정지어도 재미있을듯 (ex. 바다가 인간의 삶에 미치는 영향)
- KIOST
- (고려사항) 근데 이미 나와있는 분석 자료들이 많아서 어떻게 하면 좋을까?
데이터 조사
- 공통
- 바다
- 바다누리 해양정보 서비스 (한국)
- 수온 : 관측소 정보 (ID, 이름, 경도, 위도), 관측 시간, 수온
- 그 외 염분 유의파고 유의파주기 최대파고 최대파주기 기온 기압 풍향 풍속 최대순간풍속 유향 유속 등
- ‘이어도 대기중 방사선 총량에 대한 데이터’도 있음 (1분 단위 1일간 데이터를 조회)
- 바다누리 해양정보 서비스
- 해양 자료들 (한국)
- NSIDC : NASA 눈과 얼음 데이터 센터 (글로벌)
- 바다누리 해양정보 서비스 (한국)
- 기후
- 기상청 API (한국) : 수온, 자외선 수치 등
- 기상자료개방포털
- 기후.gov (글로벌)
- Maps & Data
- 가뭄 https://www.drought.gov/impacts
기후 변화에 따른 영향 (정리)
기후 변화와 그로 인한 악영향들에 대한 지표를 대시보드에 표현하기
어떤 기후 변화가 있는지 그래프로 표현 >> 그로 인한 결과 (우리에게 미치는 영향) 설명
- 기상현상 분석
- 지역별 기후 패턴 및 계절성 분석 >> 농작물 생산이나 관광산업에 대한 영향 예측
- 기후와 바다의 상호작용 분석
- 기후
- 기상청 (일기현상, 기온, 강수, 바람, 황사, 자외선 등) - 분, 일 다양한 기후
- 기상자료 개발포털 (배치 데이터)
- 2. 바다 : 기후 변화는 수온 상승, 해양 산성화, 해수면 상승 등에 영향을 미친다.
- 기상청
- 요소 : 기온, 바람, 기압, 습도, 수온, 파도, 수위
- 보유기간 : 2001년 12월 ~ 현재(지점별 상이함)
- https://apihub.kma.go.kr
- 바다누리 : 수온, 염분(1분 단위 1일간), 기온(1분 단위 1일간), 조위(1분 단위 1일간) 등
- http://www.khoa.go.kr/oceangrid/khoa/takepart/openapi/openApiObsTempBuRealDataInfo.do
- 연속 수온 정보, 염분 정보 등은 해양수산부에서 제공 → 내용 확인 필요
- 해양수산부_연속정보 염분(15 분)
- 하지만 홈페이지 내에도 2019~2022 자료 뿐이라는 점 고려
- https://www.vadahub.go.kr/user/aiModel/selectAiModelCont.do
- 해양수산 빅데이터 플랫폼
- 해양 방사능 안전정보
- 해양수질 측정 + 오염요인 및 수질변화 예측
- 해양대기질 측정
- 해양수산부 공동활용체계
- 기상청
기후 변화가 바다에 미치는 영향 :
- 참고 : 수온 상승, 해양 산성화, 해수면 상승
- 바다는 인간 활동으로 방출된 이산화탄소 배출량의 30%를 흡수해요. 바다가 온실가스를 흡수함으로써 지구 온난화의 속도 줄여주는 ‘완충 장치’ 역할을 하고 있는 셈이에요. 반면, 이 때문에 바다는 산성화가 되고 있답니다. 이산화탄소가 바닷물에 녹으면 탄산이 생기고 바닷물의 수소이온농도(pH) 낮아져 산성이 강해져요. 1750년에는 바다의 수소이온농도가 8.2였어요. 지난 1980년대에는 8.11이었고, 2016년에는 8.06미만으로 감소해 산도가 강해졌어요. 이러한 산성화 속도는 지난 5500만년 동안 경험한 산도의 변화보다 **약 100배 빠른 속도**예요. 1980년대 후반 이래 매 10년간 0.017~0.027피에이치(pH) 비율로 전지구의 평균 표면 **바다 수소이온농도가 확연한 감소 경향**을 보이고 있는 거죠. 참고로 탄산음료인 콜라, 사이다는 피에이치가 2.5~3.5가량의 산성을 띠고 있답니다.
- 바다가 산성화되면 무슨 일이 벌어질까요. 패류와 갑각류 등으로부터 칼슘을 빼앗아 이 생물들의 껍데기에 구멍이 나게 되거나 껍데기를 얇게 만들게 돼요. 또 해양 생물의 생식 능력을 약화시킬 수도 있어요. 이뿐 아니예요. 어린 열대어는 산성화로 위치 감각에 장애가 생기고, 후각 기능이 약해져 쉽게 잡혀 먹히게 된다는 연구도 있고요. 해파리 수가 증가해 어류의 먹이인 동물플랑크톤을 비롯해 물고기 알과 치어를 잡아먹어 어류의 생존이 크게 위협받을 수 있어요. 수온 상승과 함께 산호 백화 현상의 원인이 되기도 하고요. 이처럼 해양 산성화는 해양 생태계에 심각한 악영향을 미칠 수 있어요. 이러한 변화는 해안을 중심으로 이뤄지는 수산업, 수산양식, 관광 등 해양 산업에도 큰 타격을 주게 될 것입니다.
- https://www.hani.co.kr/arti/society/environment/1083526.html
- 참고 : 온도상승, 산성화, 얼음의 융해, 해류의 변화, 탈산소화, 해양 먹이 사슬의 붕괴
- 날씨 : 해가 지날수록 폭염과 한파가 어떻게 증가하였는가? (이 때의 바다의 변화)
- 강수 부족량과 가뭄
- 기상재해 (폭우, 홍수, 태풍 등)
- 미세먼지로 인한 심혈관 질환, 폐질환 증가 1.
2) 목표 : (미정)
대중의 인식 개선?
환경 보호에 대한 중요성 강조?
3) 최종 메세지 : (미정)
4) 데이터 구상 : (대충 챗GPT한테 물어본거라 주제 방향 정하고 다시 찾아봐야한다)
a. 기후 데이터셋 (온도, 강수량, 습도, 풍속 등 장기간의 관측 데이터)
- 기후 변동 패턴 이해
- 기후 모델링 및 예측
- NOAA (National Oceanic and Atmospheric Administration) 기후 데이터셋
- NASA의 GISTEMP (Global Surface Temperature) 데이터셋
- 기상청 API Hub
b. 온실가스 배출 데이터셋
- 국가별, 산업별, 에너지 부문별 등 다양한 차원에서의 온실가스 배출량 데이터 >> 온실가스 배출 추세 파악
- 국제 에너지 기수 (IEA), 국제 연합환경계획 (UNFCCC) 등 온실가스 배출 데이터
c. 해양 데이터셋 (해양 온도, 해수면 상승율, 해양 산성화, 해빙 변화 등 해양 관련 데이터)
- 해양 생태계 변화와 기후 변화 간의 연관성 파악, 해양 기후 모델링?
- 해양과학기술원 (IOC)의 해양 데이터셋
- NOAA의 해양 관측 데이터셋
- 해양 관측소, 해양 위성 등을 통해 수집된 데이터
d. 빙하 및 빙산 데이터
- 빙하와 빙산의 면적, 두께, 녹는 속도 등과 같은 데이터 >> 지구온난화로 인한 얼음의 변화 추적
- 위성 이미지, 레이더 측정 등을 통해 수집된 데이터 활용 (어디서 구하지?)
e. 생태계 데이터셋 (산림 면적, 생물 다양성, 멸종 위기 종 등과 같은 생태계에 대한 데이터)
- 생태계의 변화 및 영향 평가
- 생태계 모니터링 데이터, 생물 분류 및 조사 보고서 등을 활용
- 세계 생물다양성 정보 시스템(GRINN)의 생물 다양성 데이터셋
- 국제 자연보전연맹(IUCN)의 멸종위기 종 데이터셋
f. 이 외에 인구 통계 데이터, 에너지 데이터, 환경 오염 데이터 등
참고 자료 :
https://m.blog.naver.com/kma_131/223006786447
기상청 API허브로 기상기후데이터 알차게 활용하기
기상서비스진흥국 기상청은 매일 하늘에서 땅 위에서, 레이더와 기상위성을 통해 현재의 기상 상태를 관측...
blog.naver.com
AI와 데이터로 지구를 지키는 방법! ‘기후테크(CTech)’ - LG CNS
IT 기술이 기후 위기를 막을 히어로가 될 수 있을까요? 기후테크(Climate Technology, CTech)는 기후 변화를 막는데 도움을 주는 기술을 뜻합니다. 글로벌 회계 및 컨설팅 자문업체인 PwC는 기후테크의 특
link.naver.com
https://m.blog.naver.com/nsm2010/222124164658
[과학관칼럼] 올해의 유일한 기획전, ‘기후 위기, 당장 행동하라’
올해의 유일한 기획전, ‘기후 위기, 당장 행동하라’ 글. 양회정 박사(연구사) 지금으로부터 30년 ...
blog.naver.com
https://www.bigdata-map.kr/datastory/new/story_46
데이터로 보는 기후변화와 질병의 관계
전 세계가 코로나 19로 고통을 겪고 있는 가운데 이례적인 폭염과 폭우, 태풍 등 연이어 자연재해 발생 횟수가 증가하고 있다. 이로 인해 인간에게 직/간접적으로 많은 피해가 발생하고 있다. 이
www.bigdata-map.kr
B안 주제 구상
- 부동산 데이터로 보는 집값 예측하기
—
프로젝트 프로세스
1. 대규모 데이터 웨어하우스 구축
2. 데이터 파이프라인 개발
3. 실시간 데이터 처리 시스템 구축
4. 데이터 품질 관리 및 모니터링 시스템 개발
5. 클라우드 기반 데이터 아키텍처 설계
💡 배운 점
- 프로젝트 전에 이 프로젝트의 목적과 임하는 각오가 중요한 것 같다.
- 전체적인 흐름과 내용 파악의 중요성을 배웠다.
- 팀프로젝트는 회사처럼 수익이 목적이 아니다, 다른 가치가 목적이 될 텐데 이 가치가 사람마다 다르다. 이것을 파악하는 것은 필수적이다.
🔖 잘한 것과 잘못한 것
- 아이디어 구상을 위한 서칭을 했고, 정리를 하여 한 군데에 모아놓아 보기 편하다.
- 소통을 위하여 원하는 수준까지의 예시와 템플릿을 미리 작성하여 공유하였다. 다만, 시간이 오래 소요되어서 정말 합리적인지는 고민되었다.
- 전체적인 프로젝트 프로세스 파악에 시간이 걸렸다. 아직 인사이트가 없기 때문인 것 같다.
📝 남아있는 의문과 개선점
- 원하는 대로 규칙을 정하여 팀빌딩을 해보면 좋을 것 같다.
- 기초적인 프로젝트 수행 메뉴얼을 만들어도 좋을 것 같다.
☁️ 소감
계획대로 되는 것은 없는 법. 무엇이 프로젝트 취지에 맞고, 어떤 주제가 배움이 많고 가능성 있는지 섣불리 판단할 수가 없다.
미리 준비한 것은 참 다행이었다. 팀원들 모두 미리부터 준비하기 원했던 점도 참 다행인 것 같다. 좋은 결과물을 낼 수 있기를.
본격적인 엔지니어 팀 프로젝트의 PM을 맡게 되어서 배우는 점도 많을 것 같아서 기대된다. 1인분을 해내고 싶다.
'Data Engineering > grepp 데브코스 : 프로젝트' 카테고리의 다른 글
| 최종 팀플 (2) 프로젝트 세팅 : 개발 기획서, 일정 및 마일스톤, 역할 분담 (0) | 2024.03.05 |
|---|---|
| 최종 팀플 (1) 주제 선정 및 고도화 (2) | 2024.03.04 |
| (참고) 프로젝트 당부 사항 (0) | 2024.03.04 |
| [12주차_팀플03] End-to-end 데이터 파이프라인 구성하기 (0) | 2024.02.14 |
| [8주차_팀플02] 데이터 웨어하우스를 이용한 대시보드 구성 (0) | 2023.12.12 |
