데보션 (DEVOCEAN) 기술 블로그

인재DB ^hot 채용공고 ^hot 공지사항 ^new SEARCH SEARCH

인재 DB 등록 시 유의사항

CLOSE

채용공고 지원 시 유의사항

CLOSE

로그인 선택

블로그

SK개발자들은 어떻게 문제를 해결할까?
개발자들의 생각을 읽어보세요

Tech Blog

더보기

Spark 3.3.0 review

*해당 글은 spark 3.3.0 릴리즈노트의 1608개의 JIRA에서 개선된 내용을 요약 정리 및 Data+AI Summit 2022에서 발표한 내용들을 합쳐서 만든 글입니다. 최근 spark은 python사용자들이 늘어남에 따라서 python에 대한 지원을 좀 더 확장하도록 프로젝트가 신설(Project Zen)되어서 진행중이다. 해당 프로젝트의 결과로 이번에 릴리즈된 spark 3.3.0에서는 특히 pyspark에서 많은 지원이 있었다. 해당 글에서는 이부분 대해서 집중적으로 설명하도록 진행하겠다. Spark 3.3.0에서 달라진점 1. Pandas API on Spark 2. PySpark의 New Functionalities 3. PySpark의 Prod...

#Spark

jungbbong 22.08.16 244 3 0
K-UAM, 도심항공모빌리티 Intro

UAM, K-UAM 도심항공모빌리티(UAM, Urban Air Mobility)는 출발지와 목적지를 정해두고 계획한 일정에 따라 주기적으로 정해진 항로를 날아다니는 형태의 교통 수단이라고 할 수 있습니다. 5인승 정도 되는 저소음 수직 이착륙 비행체가 고도 300M에서 600M 사이에서 이동하는 모습을 2025년 즈음에는 서울에서 볼 수 있을 것이라는 것이 K-UAM의 목표이기도 합니다. 이미지 출처:The Fascinating History of the Flying Car K-UAM에 설계자로 참여하게 된 2022년 1월만하더라도 2025년이라고 시점을 언급한 것이 너무 섣부른 판단이 아닐까 하는 걱정이 더 많았습니다. 하지만 이 글을 쓰고 있는 8월 시점으로 ...

#세미나 정보

joykim 22.08.12 441 4 2
데보션 전문가를 만나다 4) 원석에서 옥석을 찾아내는 사람들 (SKT Data 분석/개발 개발자)

＂SKT의 Data분석/개발 구성원을 소개합니다＂ SKT의 Data 분석/개발 직무는 업무 개선을 위하여 데이터 기반으로 문제를 정의하고, 통계 및 기계학습 기반의 데이터 분석 모델을 설계/구축하여 고객 Profiling, 마케팅효과분석, 서비스추천, 개인화모델 개발 등 고객/Biz. Insight를 도출하며 분석된 결과를 사업 및 실무에 적용하기 위한 제반 사항을 지원합니다. 상세 업무 내용으로는 데이터 분석, 모델링, 타겟 정교화, 데이터 수집 및 처리, 데이터 활용 서비스 기획 및 개발, 데이터 플랫폼 개발 및 운영 등 데이터 전반 업무를 다루고 있습니다. 오늘 함께한 세 분은 모두 SKT에서 Data 분석/개발 분야 개발자로 근무하며 공통점도 많지만, 에이...

DevRel 22.08.12 566 9 1
(go-03) Go Slice 타입

기본 내장 타입에 추가하여 Array, Slice, Map 타입에 대해서 살펴본다. Go 에서는 Array 는 거의 사용하지 않는다. 그러므로 이번에는 Slice 와 Map 타입에 대해서만 살펴 본다. 참고로 Go 에서는 nil 이라는 값이 있다. 이는 값이 없다라는 뜻인데, 기본 타입에는 이 nil 과의 비교문 (==)을 쓸 수 없다. (이전에 기본 타입은 전부 zero 값이 nil 이 아니다.) **nil 과 비교문이 가능한 타입은 앞으로 설명할 slice, map, pointer 이며, 이 3개의 zero 값이 nil 이다.** Slice slice 는 값을 순차적으로 가질 수 있는 데이터 구조이다. 파이썬에서는 list 와 비슷하다고 생각하면 된다. 단지 ...

#Golang #Programming Language #Gin #Echo

seungkyua 22.08.11 185 4 1
지식그래프를 활용한 사기 탐지

지식그래프를 활용하는 사례들 중에 많은 언급이 되고 있는 사례는 사기 탐지로 보여진다. 사기 탐지와 같은 유형은 단일 데이터를 통해서는 사기와 같은 유형을 찾기가 어렵고, 많은 데이터들이 연결이 되어야 사기 유형의 관계를 보다 용이하게 찾아 낼 수 있다. 또한 시각화를 통해 어느 부분에서 어떤 데이터들이 사기 유형이 일어나는지 쉽게 파악이 가능하다. 이번 글에서는 다음의 사이트에서 제공하는 데이터를 활용하여 직접 사기탐지를 수행하는 맛보기를 해보고자 한다. https://live.yworks.com/demos/complete/frauddetection/index.html 이 데이터의 주요 유형은 계정소유자, 신용카드, 은행지점, 지불, 연락처, 주소, 대출 등의 ...

#Ontology

joyhong 22.08.10 305 5 0
Single Photon Detection 기술 응용에 대하여 - 1) 기술 개요 소개

안녕하세요, 저는 SKT에서 현재 양자 기술의 응용 디바이스를 연구하는 곽재영입니다. 처음으로 블로그 글을 하나 써보려고 합니다. 설마 강요에 의해서 억지로 쓴 글은 절대 아닙니다. 그럴수가요... 강원도에서 도 주관행사로 양자포럼이 2022년 3월29일에 열렸었는데요. 홈페이지 링크는 아래와 같습니다. https://qict2022.org/wp/Home.asp 제가 포럼에 자료 하나를 제출하였고, 약간의 발표를 할 예정이라서, 해당 자료를 공유하고 약간의 설명을 추가하여 해당 기술을 공유해보려고 합니다. 우선 첨부에 해당 발표 자료를 공유하니, 관심이 있으신 분들은 편하고 가볍게 한번쯤 읽어주시면 되겠습니다. 지금부터는 첨부된 자료를 살짝 읽으셨거나, 안 읽...

#세미나 정보 #Firmware

j0210003 22.08.09 259 5 1
로그수집기 fluentbit in TACO LMA

TACO LMA에서는 로그수집기로 fluentbit을 사용하고 있다. fluentbit은 내부적으로 input, filter, output, router 등 다양한 설정이 존재하고 이를 조정하여 다양한 기능을 수행할 수 있다. 기본적으로 설정파일을 통해 모듈을 제어하는데 agent의 특성상 필요에따라 수정 및 재시작하는 경우가 많이 있다. 이에따라 agent의 재시도 없이 자연스레 필요한 설정을 동적으로 하기위한 방법으로 operator를 선정했다. (사족입니다.) 이에 대한 필요성을 느끼고 개발을 시작한 시점(2019년)에는 공식적은 operator는 없었고 몇몇의 개발시도들이 있었다. 대표적인 것이 banzai cloud와 kubesphere라는 업체에서 개발...

#ElasticSearch #Open Infra #Kubernetes

sungil 22.08.08 743 6 6
Bootstrap을 사용한 Breadcrumb(브레드크럼) 깔끔하게 정리하기

이번 블로그는 제가 가진 사고의 틀(?) 을 깨보려고 합니다. 기존에 제 블로그를 보셨다면 지속적인 저만의 블로그 틀(?)을 아실텐데요.. (그래서, 이번블로그는 자유롭게 날적이(?) 스타일로...^^；； . ) 아무튼 본론으로 바로 넘어가서 ... Breadcrumb(브레드크럼) 은 무엇일까요? 브레드크럼(빵부스러기로 표시한 길)은 헨젤과 그레텔에서 나온 용어라고 하고요... 예전에 어릴적 헨젤과 그레텔을 봤었는데요..그때추억이..ㅋ 그리고 요즘 우리 애기한테도 읽어주는 고전(?)이기도 합니다. 대략적인 동화의 내용은 이러한데요.. 가난한 나무꾼 부부의 자식인 오빠 헨젤과 여동생 그레텔이 부모에게 버림받고, 숲을 헤매이게 되는 동화인데요.. 처음에는 집에 무사히...

#Bootstrap

매직 22.08.05 335 10 3
Spring batch PagingReader 로 Update ＆ Delete 시 데이터 처리 누락되는 경우

Spring batch 의 ChunkOrientTasklet 에서 Reader 를 PagingItemReader, Writer 에선 삭제 Operation 을 할 때, 누락이 발생할 수 있음을 알리는 글 입니다. Chunk 단위 Transaction 처리 spring batch 는 chunk 단위로 처리를 합니다. 처리할 전체를 읽어서 한번에 넘기는 방식이 아닌! 일부를 읽고 그 일부를 처리한 뒤 commit 하는 사이클을 반복하는데요. 그 chunk 의 사이즈는 step 을 구현할 때 .chunk(int size) 를 통해서 설정합니다. @Bean public Step step1() { return this.stepBuilderFactory.get(＂step1＂...

#Spring

오소리 22.08.04 252 3 0
[Kafka] Docker Compose로 멀티브로커 Kafka 구성하기

Install Kafka Multi Brokers with Docker compose Single Kafka Broker를 생성했었다. (https://devocean.sk.com/blog/techBoardDetail.do?ID=164007) 참조 이제는 Multi Kafka Broker를 생성해보자. 멀티 브로커 구성은 3대의 브로커로 구성해 볼 것이다. 이를 위해서 zookeeper 3개 인스턴스, kafka broker 3개 인스턴스를 올릴 것이다. 사전준비사항 참고로 설치는 mac에서 수행할 것이다. 사전 준비사항은 다음과 같다. Docker Desktop 설치 : https://docs.docker.com/desktop/mac/install/ 에서 doc...

#Kafka #Docker

KIDO 22.08.02 389 7 0

Tech Space

Tech Space는 SK 그룹에서 개발하고 있는 다양한 기술을 공유하는 공간입니다.

더보기

데보션 전문가를 만나다 4) 원석에서 옥석을 찾아내는 사람들 (SKT Data 분석/개발 개발자)
데보션 전문가를 만나다 3) 서비스의 밑그림을 그리는 개발자들 (SKT 시스템/Infra 개발자)
데보션 전문가를 만나다 2) 서비스 개발의 역사를 만들고 함께한 개발자들 (SKT Backend 개발자)

Tech News

더보기

SKT, ‘UAM’으로 미래 모빌리티 미래상 전한다 22.07.20
“골프 대회에 AI · 로봇이?” 신기함 가득 『SKT 오픈 2022』 현장 22.06.13
SKT, AWS와 ‘5GX 에지존’ 서울에 구축 22.06.08
[테크 스토리] 왜 스마트폰에 퀀텀 기술이 들어가야 할까? 22.04.27

Tech Scrap

더보기

개발자를 위한 AWS 클라우드 보안 (3) - 인프라 보안과 사고 대응 22.07.11
개발자를 위한 AWS 클라우드 보안 (2) - 로깅 및 모니터링과 데이터 보호 22.07.11
개발자를 위한 AWS 클라우드 보안 (1) - 클라우드 설계 원칙과 IAM 22.07.11
Kubernetes를 이용한 효율적인 데이터 엔지니어링(Airflow on Kubernetes VS Airflow Kubernetes Executor) - 2 22.07.10

Tech Today

더보기

일일 Tech News ＆ Blog (22.08.12) 22.08.12
일일 Tech News ＆ Blog (22.08.11) 22.08.11
일일 Tech News ＆ Blog (22.08.10) 22.08.10
일일 Tech News ＆ Blog (22.08.09) 22.08.09