notes5742 님의 블로그

개인별 결과박성준이번 학습을 통해 Gradient Boosting과 관련된 주요 개념 및 모델(XGBoost, LightGBM) 그리고 모델 선택 기준에 대해 정리해봤다.​Gradient Boosting: -Deviance: 로그 우도를 기반으로 한 손실 함수로, 분류 문제에 주로 사용.-Exponential: AdaBoost 알고리즘에 최적화된 손실 함수.-Least Squares: 회귀 문제에 적합한 손실 함수.-Sequential Learning: 이전 단계의 오차를 다음 단계에서 학습하여 모델 성능을 점진적으로 개선.​XGBoost와 LightGBM: -Custom Objective: 1차 및 2차 도함수를 직접 구현해 사용자 정의 손실 함수를 설정 가능.-Built-in Functions: 20..

개인별 목표박성준1. Loss Function 공부하기 권혁주1. 게임오브젝트 생성 및 이동 양진원1. 백준 2문제 풀이

개인별 결과박성준 SVM(Support Vector Machine)과 Random Forest에 대해서 공부했다. 먼저, SVM에 대해서는 Hinge Loss, Squared Hinge 등 힌지 손실과 관련된 개념들이 자주 등장했다. Hinge Loss는 max(0, 1 - y·f(x)) 마진 최대화로 적합하며, Squared Hinge는 미분가능성과 큰 오차 강한 패널티가 존재한다. Random Forest에서 Gini Impurity는 1 - Σpᵢ²를 통해 불순도 측정할 때 사용되며, Information Gain은 Entropy 기반 분할 기준이 된다. Majority Voting은 분류용이고 평균은 회귀용임을 알 수 있었다. 잘 모르던 Loss Function에 대해서 깊은 탐구를 한 것 같아 ..

개인별 결과박성준 공군 IT개발관리병 면접을 준비하며 다양한 이론 및 실무 정보들을 공부했다. 친구를 위한 AI 비서를 Rule-Based로 구현한 토이 프로젝트도 마무리했으며, 벡터 DB를 원활하게 사용할 수 있도록 하기 위한 RAG 시스템의 구현 방식도 학습했다. 마지막으로, Loss Function의 개념과 관련된 모델들에 대한 학습을 추가로 진행했다. 최근 AI 학습을 진행하다가, 기본적인 개념인 Loss Function을 잘 모르고 있는 나 자신을 발견했다. 꽤 자주 등장하는 개념같았는데 아직 이해를 못한 나를 반성하며 학습을 진행했다. 초반에는 개념 위주로 학습을 하다가, 수학적인 알고리즘까지 공부하고 나니 어려워보였던 개념이 기초 중에 기초 같다는 생각이 들었다. 알면 알수록 자신의 부족함을..

개인별 목표박성준1. 토이 프로젝트 마무리하기2. RAG 시스템 구현단계에 대해 탐구하기3. Loss Function에 대해 심도있게 탐구하기권혁주1. C# Script와 C# 프로그래밍 기초 이해 양진원1. 백준 2문제 풀이

개인별 결과박성준 공군 면접 준비를 위해서 벡터 DB와 라마 LLM에 대해 공부해보았다. 벡터DB의 개념과 활용처들에 대해서 간략하게 알아봤다. 벡터 DB를 공부해보니, AI에서 왜 데이터들을 Vector DB를 활용하는지 알게되었다. 정확한 것을 찾는 것이 아닌, 유사한 것을 찾는 다는 점에서 기존 DB의 특징과 달라 인상깊었다. 라마 LLM은 open API라고 해도 유료 버전과 무료 버전이 있음을 알게되었다. 그러나 아마 개인 프로젝트이기 때문에, 무료 버전의 api를 통해 실습할 것 같다. 빠른 테스트용이기 때문에 적절한 자료를 찾아본 결과 Hugging Face Serverless / Endpoint API를 활용할 것 같다. 권혁주 고박사의 유니티노트를 통해 'Game Engine 및 Uni..