SkillogyQiitaを読む
コラム一覧に戻る

データクレンジングと名寄せの進め方|分析や移行の前にやること

新しいシステムに顧客データを移したら、同じ会社が3件ずつ登録されていた。売上を取引先別に集計したら、「株式会社〇〇商事」と「(株)〇〇商事」と「〇〇商事」が別の会社として並んだ。こうした問題を防ぐために、移行や分析の前に行うのがデータクレンジングです。

データクレンジングは、表記のゆれ、重複、欠損、形式の誤りなどを見つけて直し、データを使える状態に整える作業です。そのなかでも、同じ相手を指す複数のレコードを1つにまとめる作業を名寄せと呼びます。顧客や取引先のデータでは、クレンジングと名寄せはほぼ一緒に行われます。

この作業は、ツールを入れれば自動で終わるものではありません。全角と半角の統一のように機械的に直せる部分と、「この2件は同じ会社か」「どちらの住所を正とするか」のように人が判断する部分があり、後者のルールを決めないまま進めると、直したはずのデータがまた汚れていきます。

この記事では、データクレンジングと名寄せで直す対象の具体例、移行や分析の前にやるべき理由、進め方、ツールに任せる範囲と人が決めるルール、きれいな状態を保つためのデータ品質の管理を整理します。

データクレンジングと名寄せで直すもの

データクレンジングと名寄せで直すもの

データクレンジングで扱う問題は、大きく4つに分けられます。

種類 内容 例
表記のゆれ 同じ意味の値が、異なる書き方で入っている 「株式会社」と「(株)」、全角と半角の英数字、電話番号のハイフンの有無
重複 同じ相手や同じ取引が複数のレコードとして登録されている 営業担当者ごとに同じ顧客を登録している、取り込みを2回実行した
欠損 入っているべき値が空になっている 業種や郵便番号が空、メールアドレスだけで会社名がない
誤り・不整合 形式や内容が正しくない、他のデータと矛盾している 日付の欄に文字が入っている、郵便番号と住所の都道府県が合わない

名寄せは、このうち重複の解消にあたります。ただし、表記のゆれを先に直しておかないと、同じ会社であることを機械的に見つけられません。そのため実務では、表記のゆれを整える作業を先に行い、そのうえで重複の候補を探して統合する、という順番になります。

名寄せには、もう一つの意味もあります。販売管理、CRM、会計など複数のシステムに散らばった同じ取引先を、共通のIDで結びつける作業です。システムをまたいで顧客別の売上や対応履歴を見たい場合は、この意味での名寄せが必要になり、マスタデータ管理(取引先や商品などの基本データを、どのシステムで管理し、どう共有するかを決める取り組み)の入り口になります。

表記ゆれ・重複・欠損の具体例

表記ゆれ・重複・欠損の具体例

実際のデータでよく見かけるパターンを、項目ごとに挙げます。

会社名

会社名は表記のゆれが最も多い項目です。次の値は、すべて同じ会社を指している可能性があります。

  • 株式会社〇〇商事
  • (株)〇〇商事
  • ㈱〇〇商事
  • 〇〇商事株式会社
  • 〇〇商事
  • 株式会社 〇〇商事(全角スペース入り)

このうち「〇〇商事株式会社」は、法人格の位置が前か後ろかという違いなので、本当に同じ会社かは名前だけでは判断できません。「株式会社〇〇商事」と「〇〇商事株式会社」が別の法人として存在することもあり得ます。法人格を取り除いた名前が一致した組み合わせは「同じ会社の候補」として扱い、住所や電話番号などの他の項目と組み合わせて判断します。

全角と半角、記号

英数字やカタカナ、記号の全角と半角の違いも、機械的には別の値として扱われます。社名の「ABC」と「ABC」、「カブシキガイシャ」と「カブシキガイシャ」、ハイフンと長音記号の取り違えなどです。電話番号の「0X-XXXX-XXXX」と「0XXXXXXXXX」も、比較の前にハイフンを除くか、付け方を揃える必要があります。

住所

住所は書き方の自由度が高く、名寄せの難所です。「福岡県福岡市博多区〇〇1-2-3」と「福岡市博多区〇〇一丁目2番3号」は同じ場所ですが、都道府県の省略、丁目の漢数字と算用数字、「番地」「号」の有無が違います。ビル名や階数が入っているかどうかでも変わります。住所を比較に使う場合は、都道府県を補う、丁目・番地・号を数字とハイフンの形に揃える、ビル名を別の列に分ける、といった整形をしてから比較します。

重複と欠損

重複は、営業担当者ごとに同じ顧客を登録している、展示会の名刺とWebの問い合わせで同じ人が二重に入っている、といった形で生まれます。欠損は、必須ではない項目を後で入力するつもりで空のままにしている場合に多く見られます。欠損は、埋めるのか、空のままにして「不明」と扱うのか、その項目を集計に使わないのかを、項目ごとに決めます。推測で埋めると、誤ったデータが正しいデータの顔をして残ってしまいます。

法人の取引先であれば、国税庁の法人番号公表サイトで公開されている13桁の法人番号を照合の手がかりにできます。同サイトでは商号、所在地、法人番号の基本3情報が公開されており、ダウンロードやWeb-APIでも取得できます。法人番号を取引先マスタに持たせておくと、名前の表記がゆれていても同じ法人かどうかを確かめやすくなります。

参考:法人番号とは/国税庁

移行や分析の前にクレンジングをやる理由

移行や分析の前にクレンジングをやる理由

データクレンジングは、システムの移行やデータ分析の後からでもできます。それでも「前に」やるべき理由は、後になるほど直す手間が増えるからです。

場面 クレンジングを後回しにすると起きること
システムの移行 新しいシステムの重複チェックや必須項目の制約に引っかかり、移行作業が止まる。制約を外して移行すると、汚れたデータが新システムに固定される
データ分析・BI 同じ取引先が複数に分かれて集計され、顧客数や取引先別の売上が実態と違う数字になる。数字が信用されず、ダッシュボードが使われなくなる
メール配信・営業リスト 同じ相手に複数回送ってしまう、配信停止の依頼が別のレコードには反映されない
AIでの活用 社内データを検索して回答させる仕組みで、古い情報や矛盾する情報が混ざり、回答の質が下がる

移行の場合、新しいシステムが稼働すると、古いデータと新しく入力されたデータが混ざり、どちらを直せばよいのかが分かりにくくなります。移行前であれば、古いシステムのデータだけを対象に、落ち着いて直せます。移行の計画には、データクレンジングの期間を明示的に入れておくことをおすすめします。

一方で、すべてのデータを完璧にしてから移行や分析を始める必要はありません。対象は、移行後や分析で実際に使う項目に絞ります。使わない項目まで直そうとすると、作業が終わらずに移行や分析そのものが遅れます。

データクレンジングと名寄せの進め方

データクレンジングと名寄せの進め方

データクレンジングは、次の順番で進めると手戻りが少なくなります。

  1. 目的と対象を決める。移行なのか分析なのか、対象のデータと使う項目はどれか
  2. 現状を調べる。項目ごとの空の割合、値の種類、重複していそうな件数を集計する
  3. ルールを決める。表記の統一ルール、同じ相手と判断する条件、統合するときにどちらの値を残すか
  4. 機械的に直せる部分を一括で直す。全角と半角の統一、空白の除去、法人格の表記の統一など
  5. 重複の候補を出し、人が確認して統合する
  6. 結果を確かめる。件数の変化、集計結果の変化を元のデータと比べる
  7. 新しく入力されるデータが汚れない仕組みを入れる

2番目の現状調査は、作業量を見積もるうえで欠かせません。調査は、項目ごとに「空の件数」「値の種類の数」「最も多い値の上位10件」を出すだけでも、表記のゆれや入力ルールの崩れが見えてきます。たとえば都道府県の列に50種類以上の値があれば、表記のゆれか入力ミスが混ざっています。たとえば顧客データ1万件のうち、重複の候補が数十組なのか数千組なのかで、人が確認する時間はまったく変わります。外部に作業を依頼する場合も、この集計があれば見積もりの精度が上がります。

3番目のルールのうち、統合するときにどちらの値を残すかは見落とされがちです。同じ会社の2件で住所が違う場合、更新日が新しいほうを残すのか、取引実績のあるほうを残すのか、どちらも残して片方を旧住所として扱うのかを決めておきます。統合の前のデータは消さずに保存し、どのレコードをどれに統合したかの記録を残しておくと、誤って統合した場合に戻せます。

作業を外部に依頼する場合は、依頼する範囲を「機械的な整形だけ」「候補の抽出まで」「統合の判断まで」のどこまでにするかを明確にします。統合の判断まで任せる場合でも、判断のルールは自社で決めて渡す必要があります。納品物としては、整えた後のデータに加えて、元のデータとの対応表、適用したルールの一覧、判断できずに残った候補の一覧を受け取るようにすると、後から検証でき、次回の作業にも使えます。

5番目の人の確認は、候補を「確実に同じ」「おそらく同じ」「判断できない」に分けて進めると効率的です。法人番号や電話番号まで一致していれば確実に同じとして一括で統合し、名前だけが似ているものは担当者が確認する、という分け方です。

ツールに任せる範囲と人が決めるルール

ツールに任せる範囲と人が決めるルール

データクレンジングには、Excelの関数や置換、データ準備用のツール、名寄せ専用のサービス、プログラムによる処理など、さまざまな手段があります。どの手段でも、任せられる範囲と人が決めるべき範囲の線引きは共通しています。

ツールや処理に任せられること 人が決める必要があること
全角と半角、空白、記号の統一 どの表記に揃えるか(正とする表記)
法人格の表記の統一((株)を株式会社にする等) 法人格の位置が違うものを同じ会社とみなすかどうか
住所の形式の整形 旧住所と新住所のどちらを残すか
名前や電話番号が似ているレコードの候補の抽出 候補を同じ相手として統合するかどうか
空の項目や形式の誤りの検出 欠損を埋めるか、不明のまま残すか

ツールは「似ているもの」を見つけるのは得意ですが、「同じものかどうか」を最終的に決めることはできません。本社と支店を別の取引先として管理するのか、グループ会社をまとめるのかといった判断は、業務の都合で決まるからです。この判断のルールを文書にしておくことが、クレンジングの成果物の一つになります。

最近は、生成AIに名前の似たレコードを見比べさせて、同じ相手かどうかの候補を出させる方法もあります。表記のゆれが大きいデータでは候補の抽出に役立ちますが、もっともらしい誤りを含むことがあるため、最終判断は人が行い、判断の根拠となる項目(法人番号、電話番号、住所)での照合と組み合わせるのが安全です。

ツールを選ぶときは、データの件数と、作業が1回きりか継続的かで考えます。数千件を1回直すだけならExcelや表計算ソフトで足りることが多く、数万件以上を定期的に扱うなら、処理を記録して繰り返し実行できるツールやプログラムが向いています。複数のシステムの取引先を継続的に名寄せし続けるなら、マスタデータ管理の仕組みとして設計する必要があります。

きれいにしたデータを保つには、データ品質の管理も欠かせません。入力画面で全角と半角を自動で揃える、登録時に似た名前の既存データを表示して重複登録を防ぐ、必須項目を設定する、といった入口での対策が最も効果があります。あわせて、重複の件数や空の割合を月に一度集計し、悪化していないかを確認します。取引先のマスタを登録・変更できる人を決めておくことも、品質を保つうえで有効です。

まとめ

まとめ

データクレンジングは、表記のゆれ、重複、欠損、誤りを直してデータを使える状態にする作業で、名寄せは同じ相手を指すレコードを1つにまとめる作業です。会社名の法人格の書き方、全角と半角、住所の書き方を先に揃えてから、重複の候補を探して統合する順番で進めます。

全角と半角の統一や候補の抽出はツールに任せられますが、どの表記を正とするか、どの条件で同じ相手とみなすか、統合時にどちらの値を残すかは、人が決めるルールです。移行や分析の前に行い、使う項目に絞り、統合前のデータと統合の記録を残しておくことが、手戻りを防ぐ要点です。

明日からできることとしては、移行や分析に使う予定のデータを1つ選び、項目ごとの空の割合と、会社名から法人格と空白を除いたときに重複する件数を集計してみてください。この数字があれば、作業の量と、人が確認すべき範囲が見えてきます。