はじめに
こんにちはILab-01です。本記事は私が読んだ書籍・文献のメモです。中途半端な状態でも公開していくため、後日更新されることがあります。
文献
Aleixo, E. L., Colonna, J. G., Cristo, M., & Fernandes, E. (2024). Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy. Journal of the Brazilian Computer Society, 30(1), 175–211. https://doi.org/10.5753/jbcs.2024.3966
https://journals-sol.sbc.org.br/index.php/jbcs/article/view/3966
journals-sol.sbc.org.br
概要: Incremental Learningのサーベイが書いてある。
メモ
- 1. Introduction
- インクリメンタルラーニング (Incremental Learning) は継続学習とも呼ばれるもので、以前学習したタスクを忘れることなく、新しいタスクを1つずつ学んでいくこと。
- 既存の深層学習では、新しいタスクを転移学習等で学習すると、過去に学んだタスクを忘れてしまう壊滅的忘却 (Catastrophic Forgetting (CF))が発生する。
- 2. Related work
- 以前にも様々なサーベイ論文があったが、それぞれまとめる観点が異なっていたり、まとめられていない観点があったりした。
- 本論文では3章で既存の手法を上手いこと分類してみる。
- 3. Taxonomic Organization (分類学的構成)
- 3.1 Reharsal
- 忘却を防ぐために新しいタスクを学習しながら、以前のタスクの学習も繰り返す。
- 過去のデータを全て保存して活用するのは記憶容量的にも、処理時間的にも無理があるので、記憶容量または処理時間を改善する工夫がされている。
- 疑似リハーサル
- 過去のデータを全て保存するのではなく、何らかの方法で生成すればリハーサルが行えるという考え方。
- タスクを指定するとデータを生成する逆モデルと呼ばれるものや、Knowledge Distillation (KD) (大きなモデルの出力を小さなモデルの教師データとする)や、GANモデルを使って過去のデータを再現する方法が代表的。
- 過去のタスクを学んだときのモデルをコピーとして残しておき、次の学習時に過去の入力データの生成器として使うこともある。
- ミニリハーサル
- 過去のデータを全て保存するのではなく、過去のデータの分布を上手く表すような代表的なデータのみ保存しておくこと。
- ミニリハーサルのパイオニア的な手法はICaRLらしい。
- リハーサルの利点: モデルの学習性能が高い / 欠点: メモリ使用量が増加する
- 3.2 距離ベース
- コサイン類似度などを用いて、クラス表現の一貫性を維持する。
- 埋め込み空間での類似度を利用するらしい
- 利点: 学習性能が高い / 欠点: 学習精度が埋め込み空間の品質に依存
- 3.3 サブネットワーク手法
- モデル内で異なるタスク用にパラメータ領域を分ける。つまり、覚えるタスクによって使うニューラルネットワークのノードと使わないノードを切り替える。
- ソフトサブネットワーク: パラメータ(重み)は各タスクで共有する。変更を加える重みと変更を加えない重みがある。
- ハードサブネットワーク: パラメータは各タスクで共有せず、タスクごとに完全に分離されたパラメータを使う。つまり、あるタスクは他のタスクで求めたパラメータを変更できない。
- 利点: タスク同士でのモデル上での干渉を最小化できる / 欠点: モデルの容量に制約がある (モデルの形が固定)
- 3.4 動的ネットワーク
- 新しいタスクに応じてモデルの構造を動的に拡張
- Progressive Neural Networks (PNN) などが代表例
- 利点: 高い柔軟性・拡張性 / 欠点: 計算リソース・メモリ使用量の増加
- 3.5 ハイブリッドアプローチ
- 3.1 から 3.4 までの手法を組み合わせて使う
- 3.1 Reharsal
- 4. 主要な課題と今後の方向性
- 評価方法の標準化が必要
コメント