한빛미디어 서평단 활동을 위해서 책을 협찬 받아 작성된 서평입니다. 요즘 AI로 뭔가를 만들어보고 싶다는 욕구가 부쩍 늘었다. 코딩을 몰라도 게임을 만들 수 있다는 말, 솔깃하지 않을 수 없다.이 책은 그 욕구를 슬쩍 건드린다.10년 차 게임 기획자가 AI 도구들을 팀원 삼아 혼자서 뱀서라이크 게임을 완성하는 과정을 보여주는 책이다. 📚 책의 핵심 메시지👉 AI를 팀원처럼 활용해, 게임 개발을 해 보지 않은 사람도 게임 하나를 처음부터 끝까지 완성한다.챗GPT로 캐릭터 에셋을 만들고, 코덱스로 복잡한 시스템을 코딩하고, Lami.ai로 음원을 뽑아내는 분업 구조가 특징이다.다루는 주요 흐름은 다음과 같다.게임 기획 및 콘셉트 설정AI 도구별 역할 분담 (챗GPT / 코덱스 / Lami)유니티(Un..
사이드 프로젝트로 기능 개발을 하면서 localhost:8000로 화면을 확인하고 동작을 확인해 왔지만 기능 개발이 어느정도 된 것 같아 배포를 해 보고자 했다.가장 좋은 건 fastapi가 항상 구동되는 서버가 있을 때 해당 서버를 사용해서 배포하는 거지만 쉽지 않기 때문에 보통은 aws같은 도구를 사용한다. aws도 서버를 사용하려면 당연히 비용을 지불해야 하기 때문에 비용 부담을 덜고자 무료 툴을 알아봤다.그러다가 알게 된 게 Render이다.Render는 github 레포지토리와 연동해서 코드를 자동으로 빌드하고 배포해 주는 클라우드 플랫폼이다.별도의 복잡한 서버 관리 없이 코드만 github에 push 하면 된다. 그러면 별도의 도커 설정 없이 python 환경을 사용해 fastapi를 배포할 ..
딥러닝 기반 얼굴 인식이나 텍스트/이미지 임베딩을 다루다 보면 거의 항상 등장하는 개념이 있다.바로 Cosine Similarity(코사인 유사도)다.FaceNet, ArcFace 같은 얼굴 인식 모델뿐 아니라 CLIP, SBERT 같은 최신 임베딩 모델들도 대부분 코사인 기반으로 유사도를 계산한다. 단순히 “벡터 유사도 계산 방법 중 하나”라서 사용하는 것이 아니라, 딥러닝 임베딩 공간의 구조와 매우 잘 맞기 때문에 사실상 표준처럼 사용된다. 왜 딥러닝에서 코사인 유사도가 많이 사용되는지, 그리고 FaceNet과 ArcFace가 왜 cosine 기반 loss를 사용하는지까지 딥러닝 관점에서 자세히 정리해 보려고 한다. 먼저 딥러닝 모델이 얼굴이나 문장을 어떻게 표현하는지부터 이해할 필요가 있다.얼굴 인..
요즘 개발 환경이 빠르게 바뀌면서 단순히 코드를 자동완성 해 주는 수준을 넘어 이제는 AI가 직접 개발 작업을 수행하는 Agent 기반 개발 도구들이 등장하고 있다. 클로드 코드, 코덱스 등등 유명한 것이 많지만 구글에서 출시한 Antigravity라는 도구를 사용 해 보려고 한다. antigravity는 프롬프트로 프로젝트를 설명하면 AI Agent가 코드 생성, 실행, 테스트까지 수행해 준다. 실제로 간단한 백엔트 프로젝트 정도는 몇분도 안돼서 생성이 되는 것을 확인할 수 있다. 이런 툴 사용도 요즘엔 당연히 요구되는 역량이기 때문에 이번에 antigravity를 설치해서 사용 해 봤다. 1. 설치https://antigravity.google/download Google AntigravityGoog..
Airflow에서 DockerOperator를 사용해 외부 Docker 컨테이너를 실행하려고 할 때, 다음과 같은 에러를 만날 수 있다. PermissionError(13, 'Permission denied') Failed to establish connection to Docker host unix://var/run/docker.sock여기서 핵심은 docker_url="unix://var/run/docker.sock" 즉, Airflow 컨테이너 내부에서 호스트의 Docker 소켓에 접근해야 한다. Airflow는 DockerOperator를 통해 호스트의 Docker 데몬과 통신한다.일반적으로 다음과 같이 설정한다.DockerOperator( task_id="run_container", ..
한빛미디어 서평단 활동을 위해서 책을 협찬 받아 작성된 서평입니다. 요즘 LLM을 활용한 서비스가 정말 많아졌다. ChatGPT를 쓰는 것을 넘어, RAG를 붙이고, 메모리를 설계하고, 에이전트를 만들고, 운영까지 고민하는 단계로 넘어가고 있다.이 책은 바로 그 지점에서 등장한다.이 책은 프롬프트를 잘 쓰는 법이 아니라, LLM이 제대로 사고하도록 “환경”을 설계하는 방법을 다루는 책이다. 📚 책의 핵심 메시지이 책의 중심은 하나다.👉 모델이 올바르게 사고하도록 ‘환경’을 설계하는 것 프롬프트 엔지니어링이 질문을 다듬는 기술이라면, 컨텍스트 엔지니어링은 모델이 사고할 수 있는 환경을 설계하는 기술에 가깝다.다루는 주요 내용은 다음과 같다.RAG (검색 증강 생성)CoT (Chain of Thoug..
Docker 컨테이너에서 로그를 확인하다 보면 시간이 UC T기준으로 찍히는 경우가 많은데 운영 환경이 한국(KST) 기준이라면 로그 분석 시 매번 시간 변환을 해야 해서 변경을 해 줘야만 한다. 먼저 컨테이너 내부에서 tzdata를 설치 해 줘야 한다.apt-get update && apt-get install -y tzdata위 명령어를 통해 설치를 하게 되면타임존을 선택할 수 있는 창이 뜬다. 여기서 사용하고자 하는 타임존 나라, 도시를 선택하면 설치가 완료 된다. ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime이후 위 명령어로 위에서 선택한 시간대 파일을 시스템 기본 시간 설정 파일로 연결해 주면 컨테이너 시스템 시간을 위에서 설정한 시간 기준으로 동..
rsync란Remote Sync(원격 동기화)의 약자로 이름처럼 한 위치(로컬/원격) 의 파일을 다른 위치로 동기화하는 데 쓰인다.로컬 시스템끼리 동기화하거나, 네트워크를 통해 원격 서버와 동기화할 수 있다.단순 복사가 아니라, 이미 있는 파일과 비교해서 변화된 부분만 전송하는 효율적인 방식이라 빠르고 대역폭 절약에 유리하다. rsync 장점존에 있는 파일과 비교해서 변경된 부분만 보내므로 전체를 매번 다시 복사하지 않는다로컬 ↔ 원격 어디든 사용 가능하다SSH 등 보안 연결로 파일 전송이 가능하다 rsync를 crontab에 등록하여 주기적으로 실행되도록 설정함으로써, 변경된 파일만 증분 전송하는 효율적인 백업 자동화 환경을 구축할 수 있다. 1. cron, rsync 설치 및 실행sudo apt up..
오늘날 데이터 기반의 의사결정과 서비스 향상을 위해 데이터 인프라 구축은 필수적이다. 그 중심에는 다양한 소스로부터 데이터를 수집하고 가공하여 목적지로 전달하는 데이터 파이프라인이 자리 잡고 있다. 1. 데이터 파이프라인이란?이는 통계 분석, 리포팅, 머신러닝 분석을 위한 필수적인 선행 과정이며, 대량의 데이터를 안정적으로 저장하고 관리하기 위한 빅데이터 아키텍처의 근간이라고 할 수 있다.◾ 주요 구성 요소와 단계일반적인 파이프라인은 데이터가 생성되는 소스(Sources), 이를 수집하고 변환하는 추출 및 변환(Ingestion & Transformation), 데이터를 보관하는 저장(Storage), 그리고 최종적으로 결과를 도출하는 분석 및 출력(Output) 단계로 구성된다. 소스는 MySQL 같은..
airflow를 사용하다가 DAG 코드와 설정값을 어떻게 분리해야 할지 고민이 될 때가 있었다.이런 고민을 해결하기 위해 airflow는 Variable이라는 기능을 제공하고 있다.https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/variables.html Variables — Airflow 3.1.6 Documentation airflow.apache.org하지만 Variable은 잘 쓰면 약, 잘못 쓰면 장애의 원인이 되기도 하는 만큼 개념과 역할, 올바른 사용법 등을 숙지하고 있어야 한다. 1. Airflow에서 Variable이란airflow variable은 airflow metadata DB에 저장되는 전역 key-val..
