物件データ基盤の開発でデータ処理コストを80%削減、抽出できる物件数を2倍に
データを集めて活用する仕組みは、作った直後よりも、運用が続くほど費用が効いてきます。収集する量が増えるほどクラウドの処理費用も増え、事業の利益を圧迫する構造になりやすいためです。
株式会社スキロジーでは、不動産販売業者様向けの物件データ収集基盤について、開発・改善およびインフラ運用を実施しました。技術選定、アーキテクチャ設計、フロントエンド・バックエンド開発、インフラ構築、運用保守まで一貫して対応しています。
結果として、データ処理コストを80%削減しながら、抽出できる物件数を100%増加(2倍)させました。この記事では、その進め方をご紹介します。
| ご依頼内容 | 新規事業の立ち上げに伴う物件データ収集基盤の開発・改善および運用 |
|---|---|
| 期間 | 約1年 |
| 対応範囲 | 技術選定、アーキテクチャ設計、フロントエンド・バックエンド開発、インフラ構築、運用保守 |
| 成果 | データ処理コスト80%削減、抽出できる物件数100%増加(2倍) |
ご相談時の状況と課題

新規事業の立ち上げに伴い、物件情報を対象としたデータ収集基盤が必要になったというご相談でした。収集した物件データから、仕入の候補になるものを見つけ出すことが事業の目的です。
課題は収集対象の大きさにありました。対象が大きいほど有望な物件に出会える可能性は上がりますが、そのまま素直に処理すると、クラウドの処理費用が事業を圧迫する構造になります。データ基盤の費用は、集めた量ではなく、集めたデータをどう保持し、どう問い合わせるかで大きく変わります。
| 費用が膨らむ原因 | 起きること |
|---|---|
| データの持ち方が処理に合っていない | 1回の集計で無関係なデータまで読み込む |
| すべてのデータを同じ重さで処理する | 判定が不要なデータにも高い処理コストがかかる |
| 処理の順番が整理されていない | 絞り込む前に重い処理を通してしまう |
ここで単純にコストを下げるだけであれば、収集する量を減らせば済みます。ただし、それでは見つけられる物件も減り、事業そのものが縮んでしまいます。安く動かすことと、事業として使えるデータを増やすことを同時に満たす必要がありました。
ご提案と実施内容

取り組みは大きく2つに分かれます。1つはデータの持ち方とクエリの設計を見直して処理コストを下げること、もう1つは収集ロジックと判定処理を改善して、仕入候補として使えるデータを増やすことです。実施した内容は次のとおりです。
- データ収集基盤の設計・開発
- クラウド環境におけるデータパイプラインの構築およびデータ蓄積
- クエリチューニングとデータ処理コストの最適化
- 機械学習モデルによる事前判定を組み合わせた、処理対象を絞り込むパイプラインの設計・実装
- 収集状況やデータを管理するフロントエンド機能の開発
- 要件に応じたインフラ構成の検討、技術選定および提案
- インフラおよび各種処理の監視、障害対応、運用保守
コスト削減の中心になったのは、データの持ち方とクエリの見直しです。処理のたびに読み込む範囲が最小になるようにデータを整理し、集計の方法をあわせて設計し直しました。
抽出できる物件数を増やす側では、処理の順番を変えています。すべてのデータを重い処理にかけるのではなく、機械学習モデルによる事前判定で対象を絞り込み、絞り込んだ先に重い処理を回す構成にしました。1件あたりの処理を軽くすることで、同じ費用でもより多くのデータを処理できるようになります。
また、収集状況やデータを確認できるフロントエンド機能も開発しました。基盤の内部で何が起きているかを事業側が把握できないと、改善の判断ができないためです。運用開始後は、インフラと各種処理の監視、障害対応、運用保守まで継続して対応しています。
成果

設計の見直しと収集基盤の改善により、次の成果が得られました。
- クエリおよびデータ処理方法の見直しにより、データ処理コストを80%削減
- 収集基盤の改善により、抽出できる物件数を100%増加(2倍)
コストを下げながら、事業が使えるデータの量は増えています。データ基盤の費用は運用が続く限り発生し続けるため、この改善は毎月の固定費の削減として効き続けます。
担当者の視点

データ基盤は作った直後より、運用が続くほど費用が効いてきます。この案件では「安く動かす」ことと「事業として使えるデータを増やす」ことを同時に追いました。コスト削減だけなら収集量を減らせば済みますが、それでは事業が縮むので、処理の順番と絞り込み方を設計し直しています。
クラウドの費用が高いという相談を受けたとき、契約プランや単価の見直しに目が向きがちです。実際には、データの持ち方と処理の順番のほうが金額への影響は大きくなります。どのデータに重い処理をかけるべきかを決めることが、そのままコスト設計になります。
同じような課題をお持ちの方へ

次のような状況であれば、現状の構成を確認するところからご相談いただけます。
- データを集める仕組みは動いているが、クラウド費用が想定より高い
- 費用を抑えるために処理量を減らしており、事業側の要望に応えられていない
- 収集したデータから、必要なものを選び出す処理を自動化したい
- 基盤の開発だけでなく、その後の監視や障害対応まで任せたい
スキロジーは、業務システム・Webアプリ・AI機能の企画開発を行う福岡のシステム開発会社です。データ基盤の設計から運用保守までご相談いただけますので、お問い合わせフォームよりお気軽にご連絡ください。
