본문 바로가기

분류 전체보기135

AWS 해커톤 캠프 1일차 어제 이사를 마치고 아침에 일찍 일어나서 부랴부랴 쉐어하우스에 놓고 온 짐좀 챙기고 송파에 있는 호텔 파크하비오로 향했다. 오자마자 AWS에 대해 간단히 이야기를 나누는 시간을 가지고 바로 싸이버거 2개 냠냠했다. 호텔밥 먹는 줄 알았는데 생각과 달랐지만? 그래도 맛은 있었다. 들어와서 옆자리에 앉은 오찬솔님과 이런저런 이야기를 나누었다. 시립대에서 오신 분이라 더 반갑고 성격도 엄청 좋으신 분이었다. 이 이후에는 IT 트렌드에 대해 간단하게 배웠다. 처음 들어보는 내용이 많아서 어질어질했지만, 왜 클라우드가 성장하는지, 필요한지 등에 대한 내용이었다. 가장 기억에 남는 이야기는 GPT-Store에 앱을 꼭 하나는 내보라고 하신 것과, Canva와 slack을 활용할 줄 알아야 한다는 내용이었다. 이 이.. 2024. 1. 30.
[실전문제연구단] GREET 코드 뜯어보기 - 4. train 과정 전 게시글들에 모델에 대한 간단한 설명을 적어놓았다. 이번엔 train 과정을 살펴보겠다. 논문에서 소개한 학습 방식의 자료이다. 먼저 Dual-channel Representation Learning Module이다. 이 모듈은 Edge Discriminating Module로부터 Homophiliy한 그래프 View(인접행렬)과 heterophily한 그래프 View(인접행렬)을 받아서 이를 필터에 통과시켜 임베딩을 구한다. 그 후 둘의 차이를 이용해서 Negative Contrastive Loss를 구하여 Back propagation을 진행한다. def train_cl(cl_model, discriminator, optimizer_cl, features, str_encodings, edges): .. 2024. 1. 15.
[실전문제연구단] GREET 코드 뜯어보기 - 3. Edge Discriminator 모델 class Edge_Discriminator(nn.Module): def __init__(self, nnodes, input_dim, alpha, sparse, hidden_dim=128, temperature=1.0, bias=0.0 + 0.0001): """ 그래프 엣지를 판별하는 모델인 Edge Discriminator의 클래스입니다. Parameters: - nnodes: 노드의 수 - input_dim: 입력 특성의 차원 - alpha: Negative sampling에서 사용되는 가중치 - sparse: 희소 그래프 여부 - hidden_dim: 은닉 레이어의 차원 (기본값: 128) - temperature: Gumbel-Softmax 샘플링의 온도 매개변수 (기본값: 1.0) - bias:.. 2024. 1. 13.
[실전문제연구단] GREET 코드 뜯어보기 - 2. GCL 모델 코드에 모델이 두 개 있다. 하나는 GCL, 하나는 Edge_Discriminator이다. 이 게시글에서는 GCL모델이 무엇인지 설명할 것이다. GCL은 Graph Contrastive Learning의 약자로, 비교하는 방식을 학습시키는 모델이다. 간단히 말해서 두 입력의 차이를 계산한다고 할 수 있다. 논문에서 소개한 Dual-channel Representation Learning Module이다. 데이터셋 Nodes: 2708 Edges: 10556 class GCL(nn.Module): def __init__(self, nlayers, nlayers_proj, in_dim, emb_dim, proj_dim, dropout, sparse, batch_size): super(GCL, self).__.. 2024. 1. 12.
[실전문제연구단] GREET 코드 뜯어보기 - 1. data 확인 GREET을 소개한 논문에서 graph convolution을 더 잘 하기 위해서 edge가 heterophily한지 homophily한지 판별하는 판별기를 제시했다. 이 부분을 조금 자세히 볼 예정이다. 먼저 데이터 부분이다. cora 데이터를 로드하면 어떤 것이 프로그램 변수로 할당되는지 알아보았다. https://docs.dgl.ai/generated/dgl.data.CoraGraphDataset.html#dgl.data.CoraGraphDataset cora 데이터셋의 공식 문서를 보며 비교해보자. def load_data(dataset_name): path = os.path.join(os.path.dirname(os.path.realpath(__file__)), '.', 'data', datas.. 2024. 1. 12.
[실전문제연구단] 주제 선정 학교에서 진행하는 실전문제연구단 프로젝트의 방학 후 2주동안 공부와 고민을 거듭하다가 주제가 드디어 잡혔다. 처음에는 GCN의 오버스무딩을 관찰하는 방법을 제시하려고 하였다. 첫 번째 방법은 노드 당 attention coefficient가 얼마나 같아지는지 보고, 비슷해진다면 오버스무딩이 일어났다고 보는 방법이다. 두 번째 방법은 graph conv를 할 때마다 같은 클러스터 수로 클러스터링을 진행하고, 특정 클러스터 수가 넘어가면 오버스무딩이 일어났다고 보는 방법이다. 이 두 방법 모두 교수님께 통과되지 못하고, 다른 주제로 하게 되었다. 이제는 2인 1조로 같은 연구실 친구와 함께 프로젝트를 진행한다. 우리의 주제는 노드끼리 homophily한지 heterophily한지를 구별해내는 방법을 제시하려.. 2024. 1. 11.
2024 1월 목표와 기록 1월 목표 동물농장 완독 푸시업 20 15 15 15 15 달성(쉬는 시간 정해놓고) 토익 820점 실전문제연구단 프로젝트 완성 2번 목표는 세트 사이 쉬는시간을 1분 ~ 2분으로 정해놓고 1세트는 20개, 2세트부터는 15개를 달성하는 것이다. 1월 6일 푸시업을 진짜 오랜만에 했다. 동물농장 start 1월 7일 근육통 때문에 하나 하기도 힘들어서 플랭크로 대체했다. 1월 8일 푸시업 20 10 9 8 7개 달성 토익 모의 테스트 825점 1월 9일 실전문제 연구단 주제 갈피를 어느정도 잡았다. 1월 11일 매일 기록하는건 크게 의미있는 것 같지 않다. 적어도 1주일에 한 번은 기록하겠다. 실전문제 연구단 주제 확정되었다. 이제부터 이 주제로 연구 시작이다. 매일 푸시업 하고 있다. 이상하게 개수가 .. 2024. 1. 9.
2024 상반기 계획 2024년이 왔다. 시간이 너무 빠르다. 작년까지는 새해 목표를 계속 세워왔다. 하지만 작년 새해 목표가 기억이 나지 않는다. 카톡 검색으로 계획을 찾아보니 지켜진게 없었다. ㅋㅋㅋㅋ 항상 이렇듯 새해 목표는 안 하면 섭섭한, 연례행사같은 느낌이었다. 하지만 이제부터는 달라졌다. 계획을 짧게 세울 계획이다. 먼저 크게 상반기 계획을 세웠다. 상반기에는 총 다섯가지 목표가 있다. 학업 - 날씨의 아이 앱 배포 학업 - 학부연구생 재테크 - 주식 시작(+10% 목표) 건강 - 풀업 1개 달성 교양 - 월 1권 독서 2번 목표는 원래 dacon이나 kaggle로 데이터분석과 머신러닝 공부였다. 하지만 부모님은 나보다 훨씬 뛰어난 교수님 아래에서 공부하는 것이 아마 더 도움이 될 것이라고 하셨다. 부모님과 이야.. 2024. 1. 9.
[학교 경진대회] AI 첫 시도 - 2023 AICOSS 해커톤 경진대회 학교에서 ai경진대회가 열렸다. 이제 막 인공지능 수업을 다 듣고 관심이 가던 차라서 지원하였다. 간단한 설명은 아래와 같다. [배경] 2023 AICOSS 해커톤 경진대회'에서는 서울시립대 재학생들에게 실제 산업 현장에서 요구되는 고급 알고리즘 최적화와 데이터 활용 전략을 경험할 수 있는 독특한 기회를 제공하고자 합니다. 또한 이론과 실전을 결합하여 참가자들이 현실 세계의 문제를 해결하는 데 필요한 실질적인 기술과 지식을 습득하며, 그 과정에서 자신의 역량을 한층 더 성장시킬 수 있을 것 입니다. [주제] 위성이미지 다중 객체 분류 [설명] 다양한 지리적, 환경적 특징을 포함하는 위성이미지를 기반으로 다중 객체 분류(Multi-Label Classification)를 수행하는 AI 모델 개발 바쁘지만 .. 2023. 12. 26.

티스토리툴바