체유의 IT일지

2025.05.05 초기 Codedef solution(schedules, timelogs, startday): answer = len(schedules) checkday = startday for i in range(len(schedules)): checkday = startday for realtime in timelogs[i]: if (int(checkday) == 6) or (int(checkday) == 7): pass else: if (realtime//100 > (int(schedules[i])+10)//100): answe..

참고한 영상: How to Create KPI and Sparklines in a Single Sheet   Data- Tablea에서 기본적으로 제공하는 "Semple-Superstore" 데이터 소스 활용   KPI 계산을 위해서는 "전년 대비"에 대한 계산이 필수적이다.이를 위해 고정된 값이 있어야 하며, LOD 계산 중 FIXED를 활용했다.  LOD (Level of Detail Calculation, 세부 수준 식)- 계산할 세부 수준을 제어할 수 있음1) FIXED → 완전히 독립된 세부 수준에서 계산2) INCLUDE → 더 세부적인 수준에서 계산3) EXCLUDE → 덜 세부적인 수준에서 계산     1. 계산 필드 생성 KPI 계산을 위해 Salse CY(Current Year), Sa..

Apache Software Foundation에서 설계한 다양한 아키텍처들이 존재한다.그 중에서 대용량 데이터 처리에 많이 사용되는 엔진인 Apache Spark에 대해 알아보겠다   Apache Spark https://spark.apache.org/ 21")." data-og-host="spark.apache.org" data-og-source-url="https://spark.apache.org/" data-og-url="https://spark.apache.org/" data-og-image="https://blog.kakaocdn.net/dna/bQm9BT/hyYrP6mJHN/AAAAAAAAAAAAAAAAAAAAAFFPkiFumXd_iWo8EDYd2iREIbfxfeyhNEfynkOKMYHB/img.jpg?credential=yqXZFxpELC7KVnFOS48ylbz2pIh7yKj8&expires=1769871599&allow_ip=&allow_referer=&signature=wJgVwpstZyUprdGpl4O7zmm8gA0%3D

프로젝트 배경네이버 블로그에 글을 약 4년간 작성하면서 이웃 관리 등이 필요한데 많은 시간을 투자하기는 어렵고일부분은 자동화하면 좋겠다 싶어서 고민을 하다가 프로젝트를 시작하게 되었다. 주요 기능은 2가지로1. 이웃 글에 좋아요 누르기2. 이웃이 작성한 글을 보고 생성형 AI가 작성하면 좋을 댓글 5가지 추천해주기 기존에는 좋아요 자동화하는 기능만 생각했다가, 생성형 AI를 활용한 웹 개발 했던 경험을 바탕으로 제미나이를 활용해서 댓글 추천을 받는 기능도 구현해보았다.두 기능은 한 번에 진행이 되고, 전체 플로우는 배치 파일 하나의 클릭으로 자동화했다.  Flow   Selenium을 활용한 Python code몇 년 전만 해도 크롬 드라이버를 사용하려면 chromedriver.exe 파일을 다운로드 받..

태블로 스터디 2회차에서 공간데이터 시각화 방법에 대해 알아보고직접 공간 데이터를 활용해서 대시보드를 제작하는 실습을 진행했다.스터디 했던 것을 정리해보고 내가 좀 더 다듬어 보고자 했다.  공간데이터유형벡터 데이터점: 가장 베이직한 형태로 위도, 경도 등으로 표현. 태블로에서 makepoint를 사용해서 벡터로 표현함선: 두 개 이상의 점을 연결하여 형성한 선분. 태블로에서 makeline을 사용면: 선을 둘러싸인 영역 polygon래스터 데이터공간 정보를 그리드 형태로 표현, 픽셀단위로 저장각 픽셀 단위의 값: 해당 지점의 속성, 값, 색상을 나타냄공존 해상도: 그리드의 크기에 따라 래스터 데이터의 공간 해상도가 결정비교벡터데이터는 분리된 정보를 표현하는데 유리한 반면, 래스터 데이터는 연속적인 정보..

회사에서 맡게 될 업무에서 REST API를 활용할 것 같아서 미리 이론들을 학습해보고자 한다.    REST API는 REST 아키텍처 스타일의 설계 원칙을 준수하는 API이다. REST와 API를 나눠서 살펴보면,REST: Representational State Transfer의 약자로, 자원을 명시해서 자원의 상태를 주고 받는 것을 의미API: 컴퓨터의 기능을 실행시키는 방법을 의미 REST API도 컴퓨터의 기능을 실행시키는 명령이지만, 남의 컴퓨터를 실행시킴.특정 기술을 의미하는 것이 아니라 HTTP를 통해서 기계들이 통신할 때 HTTP가 가진 잠재력을 최대한 이용할 수 있도록 유도하기 위한 사례  REST API의 구성요소 Resource: 데이터들Resource는 URI를 통해서 표현됨데이..

도메인이 정해지면서 해당 도메인에서 사용되는 데이터를 활용해 작은 프로젝트들을 진행해보려고 한다.우선, 앞으로 파생상품과 관련한 데이터들을 다룰 것이며 더 정확히는 장외파생상품이면 좋겠지만 장외는 데이터 수집에 한계가 있는 관계로 장내파생상품을 위주로 활용해보려고 한다.  지표들을 시각화해서 추세를 확인하면 좋겠다는 생각에 오랜만에 태블로를 다운로드 받아보았다.학생 때는 무료로 이용이 가능했지만 이제는 졸업했기 때문에 퍼블릭만 무료로 사용할 수 있다..  가장 처음으로 KRX 정보데이터시스템에서 파생상품 관련 데이터를 수집했다. http://data.krx.co.kr/contents/MDC/MDI/mdiLoader/index.cmd?menuId=MDC03010502 KRX 정보데이터시스템증권·파생상품의 ..

LLM (Large Language Model): 대규모 언어 모델로, 수많은 파라미터를 가진 인공 신경망으로 구성된 언어 모델.  - 방대한 데이터 세트를 학습하기에 "대규모"라는 이름이 붙음- Transformer 신경망 아키텍처 기반- tuning을 통해서 추가 학습이 이루어지며 프로그래머가 원하는 특정 작업에 맞게 조정- 학습 데이터에 기반해서 답변을 생성하기 때문에 편향적 답변이나 환각 현상 발생 가능성 높음 ※ Transformer 모델- 기존 RNN, LSTM, GRU와 달리 셀프 어텐션이라는 메커니즘을 도입- 병렬 처리가 가능하며 문장의 모든 단어를 동시에 처리가 가능- 장거리 의존 문제 해결: 셀프 어텐션 메커니즘으로 문장 내 모든 단어 간의 관계를 직접 계산- 문맥을 고려해서 단어의 의..

데이터를 활용해서 기획, 분석, 시각화 등을 하는 사람들은 물론, 데이터를 보는 사람들 모두에게 데이터 문해력이 필요하다그런 관점에서 추천받았던 데이터 문해력 책을 읽어보았다. 나는 지금까지 ‘데이터 분석 자체'를 목적으로 생각했다.그러나, 데이터 분석에만 집중하다보니 코드도 GPT가 더 잘하고 사실상 내가 하는 부분이 많이 없다는 것을 느꼈다. 데이터와 데이터 분석은 목적을 달성하기 위한 도구에 지나지 않고, 이를 어떻게 활용할 것인지가 더 중요한 것 같았다.그렇다면 나는 무엇을 해야하며 어떤 전문성을 갖추기 위해 노력해야 할까?를 고민했을 때 데이터 분석을 위한 기술을 익히는 것도 중요하지만 데이터를 이해하고 활용 및 기획하는 역량이 필요하다는 생각이 들었다.  데이터 문해력 (Data Literac..

Q. 내가 궁극적으로 하고 싶은 것은 무엇인가 ?A. 데이터 전문가가 되는 것그렇기 위해 기획, 수집, 가공, 분석, 활용 프로세스를 모두 이해하고 다룰 수 있으며 최종적으로는 이를 관리하는 PM이 되는 것.  약 4년 전으로 back...대학교 1학년 까지 나는 아이디어 도출이 무에서 유를 창출하는 것이라고 생각했다. 그래서 스스로 창의성이나 아이디어가 부족하다고 느끼며 기획과 거리가 멀다고 생각했다. 하지만 교내외에서 다양한 프로젝트를 진행하면서 기획이 필수적이며 모든 것이 기획에서 시작된다는 것을 깨달았다. 그럼 기획은 놓칠 수 없는 부분이고 '어떻게 하면 이를 극복할 수 있을까'를 고민하게 되었다. 주변의 조언을 듣고 정보를 찾아보면서 아이디어 도출이 창의성만의 영역이 아니라는 것을 알게 되었다...