Model Experiments

해커톤 파이널

• 정리하면서 생기는 질문거리

• 변호윤💪

• 이재호 🤙

우선 순위

1. 100클래스 당 1000장의 이미지 정제(걸러내기)
2. Food101 data로 EfficientNet-B0 2-1 데이터 확인 (Tensorflow dataset) 2-2 food101만 or aihub data도 같이? 혹은 따로? (SRCNN, Augmentation ⇒ albumentation)
3. 사전 학습된 모델로 우리 데이터셋에 fine tunning transfer learning 전략 세우기

• 참고

Skill

• [ ] SRCNN

  SRCNN

• [ ] FixEfficientNet ⇒ 학습전략적인 부분 (SRCNN의 대안으로도 활용 가능)

  FixEfficientNet

• [x] Grad-CAM (재호님)

  GradCAM

• [ ] Feature Extraction ⇒ T-SNE를 활용 Class Clustering 시각화 (호윤님) ⇒ 추천까지 가능?

  Feature Extraction

당장 확인해 볼 수 있는 것

1. Grad-CAM ⇒ 11.29(토) 시도

   30개의 클래스중 3개? 2개이상의 클래스가 포함된 이미지를 사용해서 Top....K...뭐 그거 써서 Class를 3개, 2개 각각의 확률이 나온다면

   그 클래스를 가지고 CAM을 그려서, 해당 클래스를 볼때 음식을 제대로 보고 있는지 확인해볼 수 있을 것 같다.

순서

1. 정제🏃 + Grad-CAM결과 보기 ✅

   • 1. 전체 데이터 학습 or 2) food101학습모델 + custm data fine tuning ⇒ 어느 것이 더 좋을지 질문
   • 1번 혹은 2번 혹은 1+2번으로 갈지 선택

   <aside> ✅ 일요일까지는 데이터셋을 어떻게 활용할지 확정 이후에 class 정제 일정계획 정하기

   </aside>

   +. 정제는 계속해서 진행

2. 다음과 같이 모델을 학습시켜본다

   • 먼저 food101이 한식에도 제대로 작동하는지 확인하기 위해

     1. Imagenet pretrained model + food 101 finetuning
     2. 1번에서 학습시킨 모델로 custom dataset 분류해보기 (Imagenet + food101_조금 으로 학습시킨 모델을 사용)

   • 한식 데이터에도 잘 적용된다면?

     • EfficientNet을 처음부터 학습 시켜본다.

       <aside> 💡 얼마나 걸릴지 논문에서 확인해보고

       </aside>

   • 추가적인 데이터?

     이전에 논문에서 사용했던 데이터셋이 더 있는지 확인해본다!

3. 모델 성능 끌어올리기?? 모델 성능 향상을 위한 전략 스터디??

4. 민채님이 모델을 실제로 올리셨을데 Inference시간이 너무 오래 걸렸다. 어떻게 시간을 줄일 수 있을까?

   3 ~ 4초정도 걸렸음 ⇒ 하지만 Local 환경이라서.. 느릴수도 ⇒ progress bar를 만드나?(태양님이 만드나?)

5. XAI 에서 추가할 부분이 있을까?

   1. t-SNE
   2. Grad-CAM
   3. 추가적으로... 뭐가 있나

6. 카테고리별로 따로 Inference모델을 만들거나... 각 카테고리별 Softmax Layer를 활용 ⇒ 이전에 Object Detection 수업때 나온 내용