notes5742 님의 블로그

개인별 결과박성준이번 학습을 통해 Gradient Boosting과 관련된 주요 개념 및 모델(XGBoost, LightGBM) 그리고 모델 선택 기준에 대해 정리해봤다.​Gradient Boosting: -Deviance: 로그 우도를 기반으로 한 손실 함수로, 분류 문제에 주로 사용.-Exponential: AdaBoost 알고리즘에 최적화된 손실 함수.-Least Squares: 회귀 문제에 적합한 손실 함수.-Sequential Learning: 이전 단계의 오차를 다음 단계에서 학습하여 모델 성능을 점진적으로 개선.​XGBoost와 LightGBM: -Custom Objective: 1차 및 2차 도함수를 직접 구현해 사용자 정의 손실 함수를 설정 가능.-Built-in Functions: 20..

개인별 목표박성준1. Loss Function 공부하기 권혁주1. 게임오브젝트 생성 및 이동 양진원1. 백준 2문제 풀이

개인별 결과박성준 SVM(Support Vector Machine)과 Random Forest에 대해서 공부했다. 먼저, SVM에 대해서는 Hinge Loss, Squared Hinge 등 힌지 손실과 관련된 개념들이 자주 등장했다. Hinge Loss는 max(0, 1 - y·f(x)) 마진 최대화로 적합하며, Squared Hinge는 미분가능성과 큰 오차 강한 패널티가 존재한다. Random Forest에서 Gini Impurity는 1 - Σpᵢ²를 통해 불순도 측정할 때 사용되며, Information Gain은 Entropy 기반 분할 기준이 된다. Majority Voting은 분류용이고 평균은 회귀용임을 알 수 있었다. 잘 모르던 Loss Function에 대해서 깊은 탐구를 한 것 같아 ..

개인별 목표박성준1. Loss Function 공부하기 권혁주1. 유니티 이벤트 함수 이해 양진원1. 백준 2문제 풀이

개인별 결과박성준 공군 IT개발관리병 면접을 준비하며 다양한 이론 및 실무 정보들을 공부했다. 친구를 위한 AI 비서를 Rule-Based로 구현한 토이 프로젝트도 마무리했으며, 벡터 DB를 원활하게 사용할 수 있도록 하기 위한 RAG 시스템의 구현 방식도 학습했다. 마지막으로, Loss Function의 개념과 관련된 모델들에 대한 학습을 추가로 진행했다. 최근 AI 학습을 진행하다가, 기본적인 개념인 Loss Function을 잘 모르고 있는 나 자신을 발견했다. 꽤 자주 등장하는 개념같았는데 아직 이해를 못한 나를 반성하며 학습을 진행했다. 초반에는 개념 위주로 학습을 하다가, 수학적인 알고리즘까지 공부하고 나니 어려워보였던 개념이 기초 중에 기초 같다는 생각이 들었다. 알면 알수록 자신의 부족함을..

개인별 목표박성준1. 토이 프로젝트 마무리하기2. RAG 시스템 구현단계에 대해 탐구하기3. Loss Function에 대해 심도있게 탐구하기권혁주1. C# Script와 C# 프로그래밍 기초 이해 양진원1. 백준 2문제 풀이

개인별 결과박성준 친구를 위한 개인 비서 AI를 만들어봤다. 무수히 많은 분기문과 다양한 토큰들을 이용해 더 자연스러운 LLM을 만들 수 있음을 몸소 깨달았다. 하지만, 용량이 많고 GPU 사용에 제약이 없다면 Meta에서 출시한 LLAMA LLM을 사용하는 것도 적절하겠다는 생각이 들었다.Rule-based와 라마 LLM 응답의 비교표 이유는 위 비교표와 같이 Rule-Based LLM은 리스트에 있는 토큰들에 포함된 단어들이 있는 문장만 이해할 수 있으며, 그마저도 여러 문장의 응답을 받으면 맥락을 쉽게 이해하지 못하기 때문이다. 그러나 LLAMA LLM을 사용하면 보다 더 자연스럽고, 토큰에 제약을 받지 않기 때문에 무제한 응답 창의성을 발휘하기 때문이다. 친구의 건강을 위해서 개인 비서를 만들었던..

개인별 목표박성준1. 토이 프로젝트 시작하기-친구를 위한 개인 비서 만들기2. 벡터 DB 관련 개념 학습하기-RAG 시스템 학습3. MCP 심화 탐구하기권혁주1. Unity 고박사 영상 시청양진원1. 백준 문제풀이

개인별 결과박성준 벡터 데이터에 대해서 집중적으로 탐구해봤다. 파면 팔수록 더 복잡한 개념같다는 생각이 들었다. 이를 해결하기 위해서는 자주 나온 개념인 벡터 임베딩과 RAG시스템에 대해서 탐구해봐야겠다고 다짐했다. 또한, 실습이 없이는 금방 휘발될 것 같다는 느낌도 받았다. 따라서 다음 모임때는 직접 코드를 작성해보면서 처리되는 순서를 알아보고자 한다. 다양한 기업들이 사용자 편의를 위해 AI를 사용하면서, 벡터 데이터베이스를 애용한다는 사실을 느꼈다. 결국 모든 컴퓨터과학의 기술이 이용자의 편의를 위함을 깨닫고, 사람이 있는 곳에 기술이 있다는 말을 되내었다. 나 역시 이러한 기업들의 활용 아이디어를 토대로, 훗날 많은 사람들에게 큰 편의를 가져다줄 수 있는 공학자가 되고싶다는 마음이 들었다.권혁주 ..

개인별 목표박성준1. 벡터 DB에 대해 더 깊이 탐구하기2. LLM에 벡터 DB가 활용되는 이유 찾기3. 벡터 DB가 사용되는 실사례 조사하기권혁주1. Unity Editor의 구성요소 이해 -Project, Object의 개념 및 관련 개념 등 학습양진원1. 자바 기말 정리하기-클래스와 객체-상속-추상클래스, 인터페이스, 중첩클래스-패키지, 예외처리