DASE

KIISE 컴퓨팅의 실제 논문지 29(11), 2023 · 실습 데모

트랜스포머 기반 한국어 요약을 위한 메타모픽 테스트 케이스 생성

요약 모델의 정답을 미리 알 수 없을 때, 입력을 규칙대로 바꾸고(MR1~MR7) 두 요약 결과의 관계로 결함을 찾습니다. 조사 자동 보정, ROUGE 계산, 판정까지 모두 브라우저 안에서 동작합니다. 논문 DOI

예문과 관계를 고르세요.

소스 입력 T

팔로우업 입력 T′ = f(T) 치환 조사 보정 이동한 문장

P(T) 소스 출력

P(T′) 팔로우업 출력

기대 출력 (오라클)

판정: P(T′)와 기대 출력의 선택한 지표가 기준값 이상이면 만족. 참조 요약과의 점수는 요약 품질(논문 표 8)에 해당합니다.

모든 예문 × MR1~MR7 실행

① 탭의 설정(치환 범위, 오라클, 지표, 기준값, 토큰화)을 그대로 사용합니다. 예문 5개 × 관계 7개를 TextRank와 Lead-2 두 요약기에 모두 적용합니다.

관계별 만족률 TextRank Lead-2

논문 그림 2 — T5 만족률

표의 각 칸은 ‘만족한 예문 수 / 적용 가능한 예문 수’입니다. 아래 행은 팔로우업 출력과 참조 요약의 ROUGE-L 평균(논문 표 8에 해당)입니다.

ROUGE·RDASS 실험실

세 가지 토큰화를 나란히 계산합니다. RDASS는 원래 문장 임베딩(SBERT) 코사인 유사도로 (sim(요약, 참조) + sim(요약, 원문)) / 2를 구하는 지표이며, 여기서는 TF-IDF 코사인으로 근사합니다.

확인해 볼 것

  1. 어순과 ROUGE-1. ‘이강인이 공을 찼다’ / ‘공을 찼다 이강인이’처럼 어순만 바꾸면 ROUGE-1은 1.0 그대로이고 ROUGE-L과 ROUGE-2만 떨어집니다. ROUGE-1(유니그램)은 원래 어순에 영향을 받지 않습니다.
  2. 논문의 예시. ‘찼다 축구공을 이강인이’에서 ROUGE-1이 떨어지는 이유는 어순이 아니라 ‘공을’이 ‘축구공을’로 바뀌었기 때문입니다.
  3. 조사와 토큰화. ‘사과를 먹었다’ / ‘사과가 맛있다’는 어절 단위로는 ‘사과’가 겹치지 않지만 조사 분리나 음절 바이그램에서는 겹칩니다. 교착어인 한국어에서 ROUGE 값은 토큰화 방식에 크게 좌우됩니다.

T5 등 실제 요약 모델로 테스트하기

  1. 현재 설정으로 테스트 케이스(T, T′ 쌍)를 내려받습니다.
  2. Colab에서 run_summarizer.py(Space 저장소의 tools/)를 실행해 요약 결과 ks_outputs.json을 만듭니다.
  3. 결과 파일을 불러오면 ② 탭과 같은 방식으로 판정합니다. 
!pip install transformers sentencepiece
!python run_summarizer.py ks_testcases.json --model eenzeenee/t5-base-korean-summarization --prefix "summarize: "

그림 2 — 관계별 만족/실패 비율

그래프에서 읽은 값입니다. 본문: MR1 75%, MR5 90%, MR6 82%, MR7 18%. 요약(초록)에는 ‘MR1, MR5, MR6이 82%’로 적혀 있어 본문과 다릅니다.

표 8 — 관계별 요약 성능 (참조 요약 대비)

표 9 — 기존 연구와 비교

각 연구는 서로 다른 데이터셋으로 평가했습니다.

현재 교육 관점에서 덧붙일 점

  1. 오라클 정의. 식 (1)은 P(T′) ≈ P(T)인데, 이름을 바꿨다면 올바른 요약에도 바뀐 이름이 나와야 합니다. 치환형 관계(MR1~MR3, MR5, MR6)는 P(T′) ≈ f(P(T))로 정의하는 것이 정확합니다. ① 탭에서 두 오라클을 바꿔 보세요.
  2. 만족 판정 기준의 명시. 논문은 ‘문장 형태나 틀이 훼손되지 않으면 만족’이라는 정성 기준을 썼습니다. 지표와 기준값을 정해 자동 판정하고, 기준값에 따라 만족률이 어떻게 변하는지 함께 보고하는 것이 재현성에 좋습니다.
  3. 한국어 고유의 변형 문제. 이름이나 직업명을 바꾸면 조사(이/가, 은/는, 을/를, 과/와, 으로/로)도 함께 바뀌어야 합니다. 조사를 고치지 않은 T′는 비문이 되어, 모델 결함이 아니라 입력 결함 때문에 실패할 수 있습니다. 이 데모는 조사를 자동으로 보정합니다.
  4. 관계의 타당성. 국가명(MR2)이나 직업명(MR3)을 바꾸면 글의 사실 관계가 바뀝니다. 요약의 ‘구조’가 유지되어야 한다는 관계로는 타당하지만, 의미가 같아야 한다는 관계로 쓰면 안 됩니다. MR7(문장 순서)은 뉴스 요약에서 앞 문장을 중시하는 경향(lead bias)이 정상 동작일 수 있어, ‘불변’ 관계로 보기 어렵습니다. Lead-2 요약기로 확인해 보세요.
  5. 표 8의 MR2 값. MR2만 ROUGE가 0.00~0.03으로 다른 관계(0.3~0.6)와 크게 다릅니다. 국가명 하나를 바꿨을 뿐인데 이 정도로 떨어지는 것은 실험 파이프라인 오류(파일 대응, 인코딩 등)일 가능성을 먼저 확인할 필요가 있습니다.
  6. 지표 설명 바로잡기. ROUGE-1은 유니그램이라 원래 어순에 무관합니다(③ 탭). ‘ROUGE-U’는 ROUGE-SU의 유니그램 부분으로, 별도의 표준 지표로 쓰이지는 않습니다. RDASS는 ‘Reference and Document Aware Semantic Score’로, 참조 요약과 원문을 모두 사용합니다(논문 본문의 ‘참조 없이 계산 가능’은 정확하지 않음).
  7. 표 9 비교의 한계. 연구마다 데이터셋·테스트셋·토큰화가 달라 ROUGE 수치를 직접 비교해 ‘13% 향상’이라고 말하기 어렵습니다. 같은 테스트셋에서 기준 모델을 함께 돌려야 합니다.
  8. 이후 흐름. 자연어 모델의 행동 테스트는 CheckList(2020) 같은 체계로 정리되었고, 요약 평가는 BERTScore, 사실 일관성(factual consistency) 지표, LLM 기반 평가로 확장되었습니다. 지금은 GPT·Claude 같은 대형 언어 모델의 요약도 같은 방식으로 테스트할 수 있습니다(① 탭 ‘직접 붙여넣기’).

출처: 이인균·강동수, 「트랜스포머 기반 한국어 요약을 위한 메타모픽 테스트 케이스 생성」, 정보과학회 컴퓨팅의 실제 논문지 29(11), pp.509–517, 2023. RDASS: Lee et al., COLING 2020.