Bini-log

OCR-free Document Understanding Transformer 문서 이미지를 이해하는 것은 복잡한 기능인 텍스트 읽기와 문서의 전체적인 이해능력을 필요로하기 때문에 핵심적이지만 어려운 작업이다. 현재 시각적 문서 이해(Visual Document Understanding, VDU) 방법은 텍스트 읽기 작업을 외부 OCR(광학 문자 인식) 엔진에 위탁하고 OCR 출력물에 초점을 맞추어 이해 작업을 수행한다. 이러한 OCR 기반 접근 방식은 유망한 성능을 보여주었지만, 1) OCR 사용에 따른 높은 계산 비용, 2) 언어 또는 문서 유형에 대한 OCR 모델의 제한성, 3) OCR 오류 전파로 인한 후속 과정의 문제 등이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 문서 이해 트랜스포머(..

BART Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension (2019, ACL, Facebook) Transformer의 bidirectional Encoder와 autoregressive Decoder 둘다 활용한 seq2seq 형태의 모델 자연어이해(NLU)와 자연어생성(NLG)에서 모두 좋은 성능 각각 Transformer의 Encoder와 Decoder만 활용한 BERT 및 GPT의 단점을 해결 사전학습단계 텍스트를 임의적인 noising 적용을 통해 오염 원본 텍스트를 복원하기 위해 seq2seq모델 학습 사전 학습 단계 중 텍스트 noising의 유연성..

Pointer Generator Get To The Point: Summarization with Pointer-Generator Networks(2017, ACL, Google) Seq2seq RNN 기반 모델의 발전된 형태 Hybrid pointer-generator network: Pointing 메커니즘을 통해 새로운 단어를 생성 Coverage : 요약문을 생성하는 시점을 기준으로 포함된 정보에 대해서는 그 다음 단계에서 token의 생성 확률을 낮춤에 따라 새로운 token을 포함하게 함 Seq2seq RNN Encoder, Decoder, attention distribution와 context vector, vocabulary distrubution으로 구성 RNN Encoder : sou..

📙오늘 TIL 3줄 요약 인공지능, 머신러닝, 딥러닝.. REST API, 휴식 API 아님 주의⚠️ 바이러스 만들지 말고 착하게 살자. TIL (Today I Learned) 날짜 : 2023.01.25(수) 오늘 읽은 범위 에피소드 39 ~ 에피소드 45 05마당 코딩별 안내서 - 최신 기술 편 에피소드 39. 인공지능, 머신러닝, 딥러닝, 아직도 구분하기 힘들다고? 에피소드 40. REST API라니, 휴식 API인가? 이게 대체 뭐죠? 에피소드 41. 도커가 뭐지? 왜 필요할까? 에피소드 42. 암호화폐의 진실 에피소드 43. 하이브리드 … 앱? 뭐라고요? 에피소드 44. NFT가 도대체 뭐길래? 에피소드 45. 뭘웨어, 바이러스, 웜 개념 몽땅 정리 책에서 기억하고 싶은 내용 에피소드 39. 인..

2022년 5월 30일에 시작된 K-Digital Training AI 데이터 사이언티스트 양성 과정 3기 교육이 총 24주간(약 5개월)에 걸쳐서 2022년 11월 11일에 드디어 끝이 났습니다!! 제가 이 교육과정을 시작하기 전, 패캠 후기를 찾아봤을 때 많은 분들의 후기를 보고 이 과정에 용기있게 참여할 수 있었습니다. 그래서 저도 패스트캠퍼스 KDT에 관심있는 분들께 도움이 되고자 짧게나마 지난 5개월의 과정을 정리해보도록 하겠습니다. 교육 후기 목차 1) 참여하게 된 계기 2) 프로젝트 진행 과정 3) 5개월과정 회고 4) 마무리(추?비추?) 1) 참여하게 된 계기 저는 세계사와 철학을 사랑하는 문과생이며 교육전공을 졸업하였습니다. 학교를 졸업한 뒤 교육대학원을 진학하려고 했으나 약간의 휴식을 ..