[행사] 2024 데이터야놀자 참가 후기 및 잡담
서평단에 참가하고 있는 제이펍에서 데이터야놀자라는 행사에 참가할 수 있는 기회를 주셔서
어제인 6월 1일 한국마이크로소프트 광화문오피스에서 진행된 2024 데이터야놀자에 참가하게 되었습니다.
위와 같은 타임라인으로 진행되었으며, 여러가지 데이터와 관련된 내용과 함께 ai에 관한 주제들로 이번 행사가 준비되었던 것 같습니다.
저는 개발자로써 회사에서 업무를 진행하고 있는데, 여러 가지 데이터들이 방치되고, 활용되지 못하는 것을 보고 이러한 데이터들을 활용
하고 싶다고 생각하고 있었고, 최근에는 관련 직무들에 대해 관심이 생기기 시작했는데 마침 데이터야놀자라는 행사가 딱 맞는 부분이 있어서 즐거운 마음으로 참가를 했던 것 같습니다.
주말임에도 생각보다 많은 분들께서 참가하시는 것을 보고 있자니 세상에는 열심히 사시는 분들이 정말 많구나 라는것을 다시 한번 느끼면서
저도 열심히 살아야겠다고 생각했습니다 ㅎㅎ.
당근, 제이펍, 소카, 몽고디비 등 다양한 서포터 업체들과 함께 행사가 진행되었고, 부스와 함께 진행되는 다양한 이벤트를 통해서 여러 가지 경품을 받을 수 있었습니다.
방명록 작성, 인스타 이벤트, 부스별 스탬프 이벤트 등을 통해서 각종 도서를 교환할 수 있었고, 각 부스에서 제공해주시는 여러 가지 굿즈들을 받을 수 있었습니다. 데이터 야놀자에서 참가자들을 위해 쿠키나 커피와 같은 부분들도 제공해 주셔서 쾌적하게 행사를 즐길 수 있었습니다
저는 여러 강연들 중 다크데이터 분석, 금융 분야의 ai 산업, ai 시대에 살아남는법 , DBT를 활용한 모델링 등 강연들을 듣고 왔습니다.
간략하게 내용을 설명해 보자면
1. 분석 속에 숨어있는 다크데이터
강연자가 생각하는 다크데이터는 실제로 필요한 데이터가 없는 경우, 무슨 데이터인지 해석하지 못하는 경우, 잘못된 데이터, 너무 복잡해서 구분하지 못하는 데이터인데, 이러한 경우 데이터의 효용성이 떨어지게 됩니다,
데이터를 집계하는 방법이나, 수행하는 사람, 각종 외부요건(이벤트 혹은 특정 사건), 데이터의 범위,, 관련 도메인 배경지식의 부족, 수집 매체의 성능차이, 데이터의 신뢰성 부족 등의 다양한 요소들로 인하여 데이터를 더욱 분석하기 어려워지는데 이러한 부분들에 대해서
간단한 예제를 통해서 어떤 경우에서 이러한 현상들이 발생하는지 잘 설명해 주셨고, 결국엔 경험과 가설을 통해 데이터가 어떤 식으로 움직일 것인지에 대해 예측하는 것이 중요하다는 말씀을 전달하시려고 했던 것 같습니다.
2. 금융 분야의 ai 산업
입장이 조금 늦어져 노트북을 켜지 못해서 내용을 정리하지 못했지만
과거의 금융데이터를 활용하기 어려웠던 법률적 내용들과 함께 현재는 금융권에서 데이터를 어떤 식으로 활용하려고 하는지 각각의 금융사와 어떤식으로 데이터를 연계하려고 준비중인지 내용들을 다뤄주셨습니다.
또한 금융권에서 ai를 활용한 데이터 분석을에 대해 어떤식으로 진행될 것인지, 각각의 모델들을 어떤식으로 활용하게 될 것인지 고민하신 부분들에 대해 말씀해 주셨습니다.
금융권 데이터라는 것이 민감정보들을 포함하고 있기 때문에 해당 데이터를 바로 학습시키지 못하고, 암호화나 여러 방법들을 사용해서 작업을 해야 하는데 그러한 부분들에서 어려움이 많다고 하셨는데, 제가 일하고 있는 의료분야에서도 환자의 데이터를 사용하는 것에 대해 제한적인 부분들이 많아서 흥미롭게 강연을 들었고, 금융 쪽에서 시도하시는 여러 가지 부분들을 의료 쪽에서도 도입했으면 좋겠다는 생각을 잠시 했습니다.
3. 당근의 DBT도입 과정
당근의 데이터팀에서 발표를 진행해주셨는데 당근에서는 데이터를 활용하기 위해 어떠한 노력들을 하셨는지 경험을 토대로 강연을 진행하셨습니다.
데이터가 존재하지만 이 데이터가 뭘 의미하는 것인지에 대해 파악하기 어려운 경우들이 많은데 당근에서는 이러한 문제들을 해결하기 위해
자체 플랫폼인 캐럿 매트릭과 여러 가지 툴을 사용하시지만, 원천적인 부분들을 파악하고 개선하여 좀 더 데이터를 쉽게 활용하시려는 노력들이 보였습니다.
데이터를 사용하기 쉽게 만들기 위해서는 원하는 정보를 미리 정제해야 하고, 데이터가 이미 신뢰할 수 있는 형태 및 그 상태에서 바로 사용가능한 최종형태이어야 하며, 정보의 메타데이터를 다른 사람이 쉽게 알아볼 수 있도록 작업해야 하며, 정보의 탐색이 쉬워야 한다라는 것을 토대로 DBT, airflow 등 여러 가지 툴을 활용하여 당근에서 도입하고, 노력한 내용들을 공유해 주셨고, 실제 DBT를 도입했을 때 계층이나,
주의점 등에 대해 공유해 주셨습니다.
DBT를 도입하고자 할 때 도움이 되는 이야기를 많이 해주셨고, 개인적으로
당근에서 데이터를 활용하기 위해 여러 가지 부분들에서 끊임없이 노력하시는 부분들을 보면서 참 멋있다는 생각이 들었습니다
이외에도 여러가지 정말 좋은 강연자 분들께서 좋은 강연을 해주셨고, 여러 분야에서 종사하시는 분들과 이야기를 나눌 수 있어서(특히 socar 데이터 관련 부서의 팀원분들과 이야기할 수 있는 기회를 파트장님께서 주셨는데, 많이 부족한 저의 질문을 정성스럽게 답해주셔서 너무 감사했습니다 ㅠㅠ) 너무 좋았습니다.
점심시간에 회의실에서 밥을 먹다가 혼자 오신 분들과 이야기하다가 스탬프 찍고 도서 이벤트에 참가하는 등 재미난 일이 많았고, 기회가 되신다면 참가해 보시는 것을 추천드리고 싶은 행사였던 것 같습니다.
엄청난 양의 굿즈와 경품을 득템 한 것은 안 비밀입니다 ㅎ
마침 해당 행사 장소가 광화문 근처여서 돌아다녀 봤습니다
광화문 광장에서는 헬스케어 관련 행사가 하고 있었는데 의료 관련 종사자인 저는 바로 헬스존으로 가서 구경하고 왔습니다.
외국인을 타깃으로 하는 성형이나 피부 병원들이 생각보다 많아서 신기했고, 저희 거래처가 있어서 한 번 더 신기했습니다 ㅎㅎ..
옆에는 한국 음식에 관련된 행사가 진행되고 있어서 가봤는데 가격대가 제 생각에 비해 조금.. 비싼 감이 있어서 구경만 열심히 하다가
광화문으로 들어가서 박물관 구경 한 번 하고 집으로 돌아갔습니다.
날씨도 좋고 좋은 강연, 좋은 사람들을 만나고 여러 가지 경험을 할 수 있어서 참 좋았던 날인 것 같습니다.