Bini-log

안녕하세요! 저는 지난 6월 9일부터 21일까지 에즈마이야 사역을 위해 케냐에 다녀왔습니다! 한국에서 두바이까지 9시간, 두바이에서 케냐까지 5시간, 총 14시간의 비행 끝에 지구 반대편 케냐에 도착했습니다. 가는 동안 설렘과 두려움이 교차했지만, 새로운 경험이 기대되었습니다.Hello everyone! I traveled to Kenya for Ezemiah from June 9th to the 21st! After a 14-hour journey, including a 9-hour flight from Korea to Dubai and another 5-hour flight from Dubai to Kenya, I arrived on the opposite side of the globe in Ken..

안녕하세요~!! 지난 2주간 저는 케냐로 다녀왔습니다!! 케냐는 정말 아름답고 친절했던 나라로 기억에 남는데요. 오늘은 케냐 입국 과정에 대해 적어보려합니다.인천공항에서부터 많은 기대와 설렘을 느꼈습니다. 특히 아랍에미리트 두바이에서 경유하는 일정이었기에, 두바이에서의 짧은 경유 시간 동안 쇼핑과 관광을 즐길 수 있는 기회도 있었습니다. 출발 전에는 여행에 필요한 준비물들을 챙기고,특히 케냐 입국 시 필요한 비자를 준비하는 것이 중요했습니다. 황열병 예방접종증명서는 경유지에 따라 다르니 꼭 확인해보세요!(ETA 꼭 미리 준비하기) ->  https://etakenya.go.ke/en에미레이트 항공의 비행기는 최신식 시설과 편안한 좌석을 자랑합니다. 기내 서비스도 매우 훌륭했는데, 승무원들이 친절하고 세심..

Summarization is (Almost) Dead 논문 발표일 : 2023년 9월 18일 Peking University, Wangxuan Institute of Computer Technology Xiao Pu, Mingqi Gao, Xiaojun Wan Abstract LLM(대형 언어 모델) 요약 생성에 대한 평가 새로운 데이터 셋을 개발, 사람이 평가하는 실험을 진행 Zero-shot 생성능력을 다섯가지 다른 요약 작업을 통해 평가한다. 결과: LLM이 생성한 요약이 인간이 작성한 요약/세밀하게 튜닝된 모델이 생성한 요약보다 명확하게 선호됨 LLM이 생성한 요약은 일관성이 뛰어나며 extrinsic hallucinations 인스턴스도 적다. 요약 작업에서 성능이 만족스럽게 나왔고 텍스트 요..

ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models (ChatGPT 웃긴데 안 웃김! 유머는 아직 LLM에서 넘어야 할 산이다.) 논문출처 : https://arxiv.org/pdf/2306.04563v1.pdf 논문저자 : Sophie Jentzsch, Kristian Kersting 논문발행일 : 2023년 6월 7일 논문 내용: ChatGPT의 유머감각에 대해 여러가지 실험을 진행한 결과 논문 읽기 전 알고 있으면 좋은 내용 : NLP, LLM, ChatGPT 등 자연어처리 관련 기술 https://arxiv.org/pdf/2306.04563v1.pdf Abstract 유머는 인간 커뮤니케이션에서 ..

OCR-free Document Understanding Transformer 문서 이미지를 이해하는 것은 복잡한 기능인 텍스트 읽기와 문서의 전체적인 이해능력을 필요로하기 때문에 핵심적이지만 어려운 작업이다. 현재 시각적 문서 이해(Visual Document Understanding, VDU) 방법은 텍스트 읽기 작업을 외부 OCR(광학 문자 인식) 엔진에 위탁하고 OCR 출력물에 초점을 맞추어 이해 작업을 수행한다. 이러한 OCR 기반 접근 방식은 유망한 성능을 보여주었지만, 1) OCR 사용에 따른 높은 계산 비용, 2) 언어 또는 문서 유형에 대한 OCR 모델의 제한성, 3) OCR 오류 전파로 인한 후속 과정의 문제 등이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 문서 이해 트랜스포머(..

안녕하세요! 지난 주 월요일, 인천 국제 공항을 출발해 샌프란시스코 공항으로 입국했습니다. 1. 서울역 도심공항터미널 먼저 인천공항에 가기 위해서 서울역 도심공항 터미널을 이용했어요! 서울역에서 도심공항 안내 표시에 따라 이동 후 키오스크를 통해 직통열차 승차권을 구매합니다! 직통열차 승차권에 인쇄된 QR코드로 항공사별 체크인 카운터로 들어가 위탁수하물을 보낼 수 있어요. 2. 아시아나 비행기 탑승 인천공항에서 시간을 보낸 후 아시아나 비행기에 탑승했습니다. [기내식] 미국행 비행기에서 기내식은 보통 2번 제공해줍니다. 제가 선택한 기내식은 1. 쌈밥정식 2. 차슈덮밥이었고 두 개 모두 맛있게 잘 먹었습니다. 아시아나 비행기 좌석은 유나이티트 비행기보다는 넓었습니다. 하지만 창문측에 앉는다면, 움직이기 ..

안녕하세요! 5월 22일 저녁 9시경 인천공항에서 떠나서 5월 22일 오후 3시 반경 샌프란시스코에 도착했습니다! 재빠르게 입국심사를 끝낸 후 30분 동안 차 타고 집에 도착했어요. 하루 종일 비행기를 탔더니 몸을 풀어줘야겠더라고요. 바로 집 앞 공원에 갔습니다. 저녁 8시에 갔는데 해가 지고 있어서 풍경이 너무 예뻤어요! 미국의 특징 중 하나는 역시 자연인 것 같아요! 공원 크기는 한 바퀴 걸었을 때 8천보 정도 걸을 수 있는 정도예요. 참고로 프리몬트는 미국에서 행복한 도시 1위로 뽑힌답니다. 프리몬트로 관광 오실 분은 여기 한번 들러보세요~ 끄읏!

BART Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension (2019, ACL, Facebook) Transformer의 bidirectional Encoder와 autoregressive Decoder 둘다 활용한 seq2seq 형태의 모델 자연어이해(NLU)와 자연어생성(NLG)에서 모두 좋은 성능 각각 Transformer의 Encoder와 Decoder만 활용한 BERT 및 GPT의 단점을 해결 사전학습단계 텍스트를 임의적인 noising 적용을 통해 오염 원본 텍스트를 복원하기 위해 seq2seq모델 학습 사전 학습 단계 중 텍스트 noising의 유연성..

Pointer Generator Get To The Point: Summarization with Pointer-Generator Networks(2017, ACL, Google) Seq2seq RNN 기반 모델의 발전된 형태 Hybrid pointer-generator network: Pointing 메커니즘을 통해 새로운 단어를 생성 Coverage : 요약문을 생성하는 시점을 기준으로 포함된 정보에 대해서는 그 다음 단계에서 token의 생성 확률을 낮춤에 따라 새로운 token을 포함하게 함 Seq2seq RNN Encoder, Decoder, attention distribution와 context vector, vocabulary distrubution으로 구성 RNN Encoder : sou..

인도에는 사용되고 있는 언어가 여러 개 있습니다. 인도 언어의 자연어처리를 위한 중요한 3가지 라이브러리에 대해 알아보도록 하겠습니다. 1. iNLTK(Natural Language Toolkit for Indic Languages) Natural Language Toolkit for Indic Language로, NLTK Python 패키지에 해당하며 인도언어용 NLP Toolkit입니다. Tokenization, Word Embeddings, Text completion, Similarity of sentences 등 제공합니다. 설치 : pip install inltk 12개의 언어 지원 – Hindi(hi), Pungabi(pa), Sanskrit(sa), Gujarati(gu), Kannada(..