Bini-log

Summarization is (Almost) Dead 논문 발표일 : 2023년 9월 18일 Peking University, Wangxuan Institute of Computer Technology Xiao Pu, Mingqi Gao, Xiaojun Wan Abstract LLM(대형 언어 모델) 요약 생성에 대한 평가 새로운 데이터 셋을 개발, 사람이 평가하는 실험을 진행 Zero-shot 생성능력을 다섯가지 다른 요약 작업을 통해 평가한다. 결과: LLM이 생성한 요약이 인간이 작성한 요약/세밀하게 튜닝된 모델이 생성한 요약보다 명확하게 선호됨 LLM이 생성한 요약은 일관성이 뛰어나며 extrinsic hallucinations 인스턴스도 적다. 요약 작업에서 성능이 만족스럽게 나왔고 텍스트 요..

OCR-free Document Understanding Transformer 문서 이미지를 이해하는 것은 복잡한 기능인 텍스트 읽기와 문서의 전체적인 이해능력을 필요로하기 때문에 핵심적이지만 어려운 작업이다. 현재 시각적 문서 이해(Visual Document Understanding, VDU) 방법은 텍스트 읽기 작업을 외부 OCR(광학 문자 인식) 엔진에 위탁하고 OCR 출력물에 초점을 맞추어 이해 작업을 수행한다. 이러한 OCR 기반 접근 방식은 유망한 성능을 보여주었지만, 1) OCR 사용에 따른 높은 계산 비용, 2) 언어 또는 문서 유형에 대한 OCR 모델의 제한성, 3) OCR 오류 전파로 인한 후속 과정의 문제 등이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 문서 이해 트랜스포머(..