[Review] “Told You I Didn’t Like It”: Exploiting Uninteresting Items for Effective Collaborative Filtering

Feb 06, 2024

Contents

Recommender System Abstract ~ Introduction Abstract Introduction Preliminaries ~ Proposed Approach: A. Inferring Pre-Use Preferences Preliminaries Proposed Approach Proposed Approach: B. Identifying Uninteresting Items ~ Evaluation: C. Q2: User’s Satisfaction on Uninteresting Items Evaluation Evaluation: D. Q3: Effect of Parameter ~ Conclusion Related Work Conclusion

keywords: PageRank, Web information retrieval, Bibliometrics, Sociometry, Econometrics.

Recommender System

협업 필터링(Collaborative Filtering, )

Memory Based Approach → 최적화 X, 매개변수 학습 X, 단순 산술연산(Cosine 유사도, Pearson Correlation, KNN, etc..)

User-based Filtering
Item-based Filtering

Model Based Approach

행렬 분해(Matrix Factorization)

콘텐츠 필터링(Contents-Based Filtering)

💡

Collaborative Filtering vs Contents-Based Filtering

내가 좋아하는 감독, 장르, 키워드의 영화를 찾아본다

→ Contents-Based Filtering

나랑 성향이 비슷한 친구들이 본 영화를 찾아본다 → Collaborative Filtering

Collaborative Filtering 특징

가설: 나와 비슷한 취향의 사람들이 좋아하는 것은 나도 좋아할 가능성이 높다.

→ 다른 많은 사용자로부터 얻은 취향 정보(Rating, etc)를 활용

1) Memory-Based Approach

유사한 사용자(Users)나 아이템(Item)을 사용

특징 : 최적화 방법이나, 매개변수를 학습하지 않음. 단순한 산술 연산만 사용

방법 : Cosine Similarity, Pearson Correlation, KNN

장점 :

쉽게 만들 수 있음

결과의 설명력이 좋음

도메인에 의존적이지 않음

단점 :

데이터가 축적 X or Sparse한 경우 성능이 낮음

확장가능성이 낮음 ( ∵ 데이터가 너무 많아지면, 속도가 저하됨)

2) Model-Based Approach

기계학습을 통해 추천

특징 : 최적화 방법이나, 매개변수를 학습

방법 : 행렬분해(Matrix Factorization), SVD, 신경망

장점 : Sparse한 데이터도 처리 가능

단점 : 결과의 설명력이 낮

Abstract ~ Introduction

Abstract

We study how to improve the accuracy and running time of top-N recommendation with collaborative filtering (CF). Unlike existing works that use mostly rated items (which is only a small fraction in a rating matrix), we propose the notion of pre-use preferences of users toward a vast amount of unrated items. Using this novel notion, we effectively identify uninteresting items that were not rated yet but are likely to receive very low ratings from users, and impute them as zero. This simple-yet-novel zero-injection method applied to a set of carefully-chosen uninteresting items not only addresses the sparsity problem by enriching a rating matrix but also completely prevents uninteresting items from being recommended as top-N items, thereby improving accuracy greatly. As our proposed idea is method-agnostic, it can be easily applied to a wide variety of popular CF methods. Through comprehensive experiments using the Movielens dataset and MyMediaLite implementation, we successfully demonstrate that our solution consistently and universally improves the accuracies of popular CF methods (e.g., item-based CF, SVD-based CF, and SVD++) by two to five orders of magnitude on average. Furthermore, our approach reduces the running time of those CF methods by 1.2 to 2.3 times when its setting produces the best accuracy. The datasets and codes that we used in experiments are available at: https://goo.gl/KUrmip.

→ 이 연구는 협업 필터링(Collaborative Filtering, CF)을 사용하여 Top-N 추천의 정확도와 실행 시간을 향상시키는 방법에 대해 다룬다. 기존의 작업들이 주로 평가된 아이템들(즉, 평가 매트릭스에서 작은 부분을 차지하는)을 사용하는 것과 달리, 우리는 사용자가 아직 평가하지 않은 많은 수의 아이템들에 대한 사전 사용 선호도라는 새로운 개념을 제안한다. 이 새로운 개념을 사용하여, 우리는 사용자들로부터 낮은 평점을 받을 가능성이 높지만 아직 평가되지 않은 흥미없는 아이템들을 효과적으로 식별하고, 이를 0으로 대체한다. 이 간단하면서도 새로운 0 삽입 방법은 평가 매트릭스를 풍부하게 만들어 희소성 문제를 해결할 뿐만 아니라, 흥미없는 아이템들이 Top-N 아이템으로 추천되는 것을 완전히 방지함으로써 정확도를 크게 향상시킨다. 제안된 아이디어는 방법론적으로 중립적이므로 다양한 인기 있는 CF 방법에 쉽게 적용할 수 있다. Movielens 데이터셋과 MyMediaLite 구현을 사용한 종합적인 실험을 통해, 우리의 해결책이 인기 있는 CF 방법들(예: 아이템 기반 CF, SVD 기반 CF, SVD++)의 정확도를 평균적으로 두 배에서 다섯 배 순서의 크기로 일관되고 보편적으로 향상시키는 것을 성공적으로 입증했다. 또한, 이 설정이 최고의 정확도를 생성할 때, 우리의 접근법은 해당 CF 방법들의 실행 시간을 1.2에서 2.3배까지 줄인다. 실험에 사용된 데이터셋과 코드는 다음에서 이용할 수 있다:

💡

제안: 평가 되지 않은 아이템들에 대한 pre-use preference를 고려하여 기존의 협업 필터링(Collaborative Filtering, CF)에서 Top-N 추천의 정확도(2~5배)와 실행 시간(1.2~2.3배)을 향상 시키는 방법

사전 사용 선호도(pre-use preferences of users) 개념 도입: user가 아직 평가하지 않은 아이템들에 대한 'pre-use preference'를 고려 → 기존에 주로 사용되던 rated item 에만 초점을 맞춘 방식과 차별화

흥미없는 아이템() 식별과 Zero-Injection: User에게 을 식별하고, 이를 Matrix에서 0으로 처리한다. → 평가 Matrix의 sparsity(희소성) 문제를 해결하고, 추천 시스템의 정확도를 향상

범용적 적용 가능성: 이 방법은 다양한 CF 방법에 적용 가능하며, 아이템 기반 CF, SVD 기반 CF, SVD++ 등에 효과적이다.

실험적 검증: Movielens 데이터셋과 MyMediaLite 구현을 사용한 실험을 통해, 이 접근법이 추천 시스템의 정확도를 크게 향상시키고, 실행 시간을 줄임을 입증했다.

결론적으로, 이 연구는 추천 시스템의 효율성과 정확도를 높이기 위한 새로운 방법론을 제시하며, 그 효과를 실제 데이터를 통해 확인가능하다.

Introduction

The Collaborative Filtering (CF) technique, one of the most popular and effective techniques in recommender systems, has been extensively studied in recent years (e.g., [1], [11], [19], [24], [16], [4]). By and large, CF can be applied to address two settings: (1) rating prediction and (2) top-N recommendation. In this paper, in particular, we focus on the setting of top-N recommendation for its practical usage in real-world applications [7]. For the top-N recommendation setting, CF predicts relative preferences on unrated items, and recommends top-N items with the highest preferences.

→ 추천시스템에서 가장 유명하고 효율적인 기술 중 하나인 협업 필터링은 최근 몇넌동안 광범위하게 연구되어 왔다.

일반적으로 CF는 두 가지 설정을 다루기 위해 적용될 수 있다:

(1) 평가 예측(rating prediction)과 (2) Top-N 추천(Top- recommendation).

이 논문에서는 특히 실제 세계의 어플리케이션에서의 실제 사용을 위해 Top-N 추천 설정에 집중하고 있다.

CF는 Top-N 추천 설정에서, 평가되지 않은 아이템들에 대한 상대적인 선호도를 예측하고, 가장 높은 선호도를 가진 상위 N개의 아이템을 추천한다.

💡

- CF가 추천 시스템 분야에서 중요하고 널리 연구된 기술임을 강조 - CF는 주로 두 가지에서 사용: 1) 평가 예측 2) Top-N 추천 - 이 논문은 Top-N 추천 시스템에 특히 중점을 두고 있음 - CF는 unrated item에 대한 상대적인 선호도를 예측

Due to the popularity of CF techniques in practice and importance of recommender systems in businesses, improving the results of CF can lead to huge positive business ramifications. In this paper, as such, we strive to improve CF techniques with respect to its accuracy and running time. Our proposal is method-agnostic so that it can be applied to a wide variety of CF techniques seamlessly, improving their results universally. Our proposal is based on the following hypothesis in CF:

→ CF 기술의 실제 사용에서의 인기와 비즈니스에서의 추천 시스템의 중요성 때문에, CF의 결과를 향상시키는 것은 큰 긍정적인 비즈니스 영향(효과)을 가져올 수 있다.

이 논문에서는 정확도와 실행 시간과 관련하여 CF 기술을 개선하기 위해 노력한다.

우리의 제안은 방법에 구애받지 않으므로 다양한 CF 기술에 원활하게 적용될 수 있으며, 일반적으로 결과를 향상시킬 수 있다. 우리의 제안은 CF에서 다음과 같은 가설을 따른다:

💡

CF 기술의 개선이 비즈니스에 미치는 중요성을 강조 CF 기술의 정확도와 실행 시간을 개선하는 것은 비즈니스에 긍정적인 결과를 가져올 수 있음

이 논문에서 제안한 방식은 다양한 CF 기술에 적용 가능한 방법론적으로 구애받지 않는 접근 방식이라고 설명

→ 제안된 기술이 CF의 다양한 형태에 유연하게 적용될 수 있음을 의미하며, 이를 통해 여러 CF 기술의 성능을 일반적으로 향상시킬 수 있다

Hypothesis 1

Filling values into empty cells (i.e., unrated items) in a rating matrix can improve the accuracy and running time of the top-N recommendation by CF methods.

Below, first, we develop several key ideas that are crucial to develop a solution based on the hypothesis.

→ 가설1: rating matrix의 빈 셀(즉, 평가되지 않은 아이템)에 값을 채우는 것은 협업 필터링(CF) 방법에 의한 Top-N 추천의 정확도와 실행 시간을 향상시킬 수 있다.

아래에서, 먼저, 이 가설을 바탕으로 해결책을 개발하는 데 중요한 여러 핵심 아이디어를 개발한다.

💡

가설1 : CF 기반 추천 시스템에서 rating matrix의 평가되지 않은 아이템(셀)을 채우는 것이 Top-N 추천의 정확도와 실행 시간을 개선할 수 있다

Idea 1: Exploit Uncharted Unrated Items

Existing CF methods in general attempt to exploit the ratings that users have provided, yet the fraction of known ratings in a rating matrix is in general quite small. Suppose, for a rating matrix with users and items, on average, user rates items. Then, the fraction of rated items in is: . As it is often common for an e-business to sell millions of iems with a very long tail and a user on average rates only a small number of items, asymptotically, such a fraction of rated items in becomes extremely small (i.e., ). As such, we believe that exploiting the vast number of uncharted “unrated” items in R can lead to a significant improvement in CF.

→ 아이디어1: 평가되지 않은 미지의 아이템 개발하기(이용하기)

기존의 CF 방법들은 일반적으로 사용자가 제공한 평점을 활용하려고 시도하지만, rating matrix에서 알려진 평점의 부분은 일반적으로 꽤 작다.

명의 사용자와 개의 아이템이 있는 평가 매트릭스 에 대해, 평균적으로 사용자가 개의 아이템을 평가한다고 가정하자. 그러면 에서 평가된 아이템의 비율은 이다.

e-비즈니스에서 수백만 개의 소량 다중품 아이템을 판매하는 것이 일반적이며 사용자가 평균적으로 소수의 아이템만 평가하기 때문에, rating matrix 에서 평가된 아이템의 비율은 점점(수렴??) 매우 작아진다 (즉, ).

이와 같이, 우리는 rating matrix R에서 막대한 수의 "평가되지 않은" 미지의 아이템을 활용하는 것이 CF에서 상당한 개선을 이끌어낼 수 있다고 제안한다.

💡

문제: 기존 CF 방법들이 사용자가 제공한 평점에 초점을 맞추고 있으나, 전체 아이템 중 실제로 평가된 아이템의 비율이 낮다는 점 rating matrix에서 실제로 평가된 아이템의 비율이 전체 아이템 대비 매우 낮다 e-비지니스 플랫폼에서 사용자들이 대부분의 아이템에 대해 평가를 하지 않기 때문에, 실제로 평가된 아이템의 비율이 매우 낮다 그러므로, 평가되지 않은 아이템을 적극적으로 활용하는 것이 CF의 성능을 향상시킬 수 있는 핵심적인 전략이 될 수 있다

Several existing works assume that items are not evaluated (i.e., unrated) when a user is not interested in them. Nan Hu et al. [8] and Nilesh Dalvi et al. [5] pointed out that most rated items have either 4 or 5 rating scores out of [1] …[5], 5 being the best. In other words, users tend to evaluate only those items that they are likely to like (thus high ratings among rated items), while ignore items that they dislike in advance. Similar to this finding, Harald Steck [22] presumed that unrated items are less likely to be preferred by users. However, we emphasize that users are able to know only some of unrated items, not all of them.

→ 몇몇 기존 연구들은 사용자가 관심이 없을 때 아이템이 평가되지 않는다고 (즉, 평가되지 않는다고) 가정한다.

Nan Hu 등과 Nilesh Dalvi 등은 대부분의 평가된 아이템이 [1 ~ 5] 중 4 또는 5의 평점을 받는다고 지적했다. 여기서 5가 가장 좋은 점수이다.

다시 말해, 사용자들은 자신이 좋아할 가능성이 높은 아이템만 평가하는 경향이 있다(따라서 평가된 아이템 중에서 높은 평점), 반면에 미리 싫어하는 아이템은 무시한다.

이러한 발견과 유사하게, Harald Steck은 평가되지 않은 아이템이 사용자들에게 선호될 가능성이 적다고 추정했다.

그러나 우리는 사용자들이 평가되지 않은 아이템 중 일부만 알고 있을 뿐 모든 아이템을 알지는 못한다고 강조한다.

💡

- 몇몇의 기존 연구들은 평가되지 않은 아이템들이 사용자의 관심 부족 때문일 것이라고 가정 - 사용자들이 주로 자신이 좋아하는 아이템에 높은 평점(4 또는 5)을 주는 경향이 있음을 나타냄 - 사용자들이 자신이 좋아하는 아이템에만 관심을 기울이고, 관심이 없거나 싫어하는 아이템은 평가하지 않는 경향이 있다 → 그러나 User들이 모든 아이템을 알지 못하며, 따라서 평가되지 않은 많은 아이템들이 단순히 사용자들에게 알려지지 않았을 수 있다

Idea 2: Some Unrated Items are Uninteresting

We observe that unrated items in can be categorized into several types: (1) unrated items that users were not aware of their existence, (2) unrated items that users knew and purchased but did not rate, and (3) unrated items that users knew but did not like and thus did not purchase. In particular, we note that the unrated items of the third type, named as uninteresting items (), clearly indicate users' latent “negative” preference. Therefore, we believe that it is better not to recommend those uninteresting items. Challenge is however that it is not easy to identify in .

→ 아이디어2: 몇몇의 평가되지 않은 아이템은 흥미롭지 않다.

우리는 rating matrix 의 평가되지 않은 아이템이 몇가지 카테고리로 나뉠 수 있음을 관측 했다.

1) 아이템의 존재를 user가 모르는 평가되지 않은 아이템

2) 아이템의 존재를 user가 알고 구매했지만 평가를 하지 않은 아이템

3) 아이템의 존재를 user가 알지만, 좋아하지 않고 구매하지 않은 아이템

→ Uninteresting items

특히, 우리는 3번째 카테고리에 집중한다, 이것을 우리는 unintersting items(흥미롭지 않은 아이템)이라고 부룬다, 이것은 명백히 유저들의 잠재 negative 선호를 나타낸다.

그러므로 우리는 이러한 흥미롭지 않은 아이템을 추천하지 않는 것이 좋다.

하지만 문제는 이러한 흥미롭지 않은 아이템을 rating matrix 에서 찾기가 어렵다.

💡

Idea 3: Uninteresting Items Have Low Pre-Use Preferences

In order to identify in , we first have to understand a user's pre-use preference to items-i.e., a user’s impression on items before purchasing and using them. Then, based on this novel notion, we can rephrase as those items whose pre-use preferences are not high. Unfortunately, ratings that users leave in do not indicate pre-use preferences but the preferences “after” using the items, named as post-use preferences. However, also note that users must have had high pre-use preferences to all rated items (otherwise, users would have not purchased them in the first place). Therefore, we believe that we can utilize the pre-use preferences of rated items to infer the latent pre-use preferences of unrated items, and finally identify with low pre-use preferences.

→ 아이디어3: Uninteresting Item은 pre-use preference가 낮다

에서 를 식별하기 위해 우리는 먼저 User의 아이템에 대한 pre-use preference를 이해해야 한다. 즉, 아이템을 구매하고 사용하기 전에 가지는 아이템에 대한 User의 인상이다.

이 참신한 개념에 기반하여, 우리는 를 pre-use preference가 높지 않은 아이템들로 다시 표현할 수 있다.

불행히도, User가 에 남긴 Rating은 pre-use preference가 아니라 아이템 “after”의 preference, 즉 post-use preference를 나타낸다.

그러나 User가 평가한 모든 아이템에 대해 높은 pre-use preference를 가졌어야 한다는 점도 유의해야 한다 (그렇지 않으면 사용자들이 처음 장소(Top-추천페이지?)에서 그것들을 구매하지 않았을 것이다).

따라서, 우리는 Rating Item의 pre-use preference를 활용하여 Unrated Item의 잠재적인 pre-use preference를 추론하고, 결국 pre-use preference가 낮은 를 식별할 수 있다고 생각한다.

💡

흥미없는 아이템()을 식별하기 위해 사용자가 아이템에 대해 구매 및 사용 전에 가지고 있는 인상이나 선호도를 이해해야 한다 → 즉, pre-use preference가 낮은 아이템 == 흥미없는 아이템 Rating은 사용자가 아이템을 사용한 후의 만족도나 선호도를 나타내며, 구매 전의 초기 선호도와는 다를 수 있다 But, 사용자가 아이템에 대해 긍정적인 pre-use preference을 가지고 있었기 때문에 구매하고 평가했다. 즉, pre-use preference ≠ post-user preference 이지만, 높은 pre-use preference —> 아이템 구매 했을 것 즉, 평가된 아이템의 사전 사용 선호도를 분석하여, 평가되지 않은 아이템의 잠재적인 선호도를 추론하고, 그 중에서 사전 사용 선호도가 낮은 흥미없는 아이템()을 식별할 수 있다

With in found, next, we propose to improve top- recommendation via two strategies: (1) excluding from the top- recommendation results, and (2) exploiting both and ratings to predict the relative preferences of items better. The first strategy is likely to improve top- recommendation. As with low pre-use preferences are by definition the items that users were aware of their existence but did not like in the first place, they are likely to be false positives if included in top- recommendation. Therefore, proactively, we exclude from the top- recommendation results.

→ 에서 을 찾은 후, 다음으로 우리는 두 가지 전략을 통해 top- 추천을 개선할 것을 제안한다:

(1) top- 추천 결과에서 을 제외하는 것

(2) 과 평점을 모두 활용하여 아이템의 상대적 선호도를 더 잘 예측하는 것

첫 번째 전략은 top- 추천을 개선할 가능성이 높다.

사전 사용 선호도가 낮은 은 정의상 사용자가 존재를 알고 있었지만 첫 공간(첫페이지)에 있는 것을 좋아하지 않은 아이템들이기 때문에, top- 추천에 포함된다면 False Positive(FP)일 가능성이 높다.

따라서, 우리는 적극적으로 top- 추천 결과에서 을 제외한다.

💡

식별 후, top- 추천을 개선하기 위한 두 가지 전략을 제안 1) 추천 결과에서 을 제외 → top- 에서 을 제외하면 추천 시스템의 성능이 향상될 가능성 ⬆️ 2) 과 사용자의 rating Data를 모두 활용하여 아이템에 대한 relative preference를 더 정확하게 예측하는 것 을 first space에 포함시킬 경우, False Positive(FP)이 가능성이 높다. False Positive(FP): 실제로는 Negative지만 Positive라고 잘못 판단한 것 False Negative(FN): 실제로는 Positive지만 Negative라고 잘못 판단한 것 True Positive(TP): 실제로 Positive인데 Positive라고 판단한 것 True Negative(TN): 실제로 Neagative인데 Neagtive라고 판단한 것

Our second strategy is also likely to improve top- recommendation by recommending preferred items more accurately. We can explain the effect of second strategy through the concept of typical memory-based methods that depend on the fact that a user is more likely to prefer items that her neighbors also like. Suppose a few neighbors rated an item highly but most neighbors considered as an uninteresting item (thus left unrated in ). In this situation, existing CF methods are likely to recommend to as her a few neighbors rated them high. On the other hand, if we consider the fact that many more neighbors actually viewed as uninteresting, we could avoid recommending to .

→ 두 번째 전략은 선호하는 아이템을 더 정확하게 추천함으로써 top- 추천을 개선할 가능성이 높다.

두 번째 전략의 효과는 사용자 가 그녀의 이웃들이 좋아하는 아이템을 더 선호할 가능성이 높다는 사실에 의존하는 일반적인 메모리 기반 방법들의 개념을 통해 설명할 수 있다.

몇몇(소수의) 이웃들이 아이템 에 높은 평점을 주었지만 대부분의 이웃들은 아이템 를 으로 고려했다(따라서 에서 를 평가하지 않았다).

이러한 상황에서, 기존 CF 방법들은 몇몇(소수의) 이웃들이 높은 평점을 준 아이템 를 사용자 에게 추천할 가능성이 높다.

반면에 훨씬 더 많은 이웃들이 실제로 를 으로 보았다는 사실을 고려한다면, 우리는 를 에게 추천하지 않을 수 있다.

💡

두 번째 전략이 사용자가 실제로 선호할 아이템을 더 정확하게 추천함으로써 top- 추천 시스템의 전반적인 성능을 향상시킴 memory-based User-based memory-based Item-based 아이템 가 일부 이웃들에게는 높은 평가를 받았지만, 대다수의 이웃들에게는 이라 평가하지 않았다는 상황을 가정할 때 → 현재의 memory-based CF는 상대적으로 적은 수의 이웃이 높은 평점을 준 아이템을 사용자에게 추천할 수 있다.(왜?? 아이템 를 으로 고려한 대다수의 사용자들이 평가를하지 않았기 때문 → 일부 이웃의 높은 평가에 과도하게 의존할 수 있는 문제가 존재) 문제: 일부 이웃의 높은 평가에 과도하게 의존할 수 있다. 해결 제안: 두번째 전략으로 이를 해결할 수 있다. → 대다수의 이웃들이 관심을 보이지 않은 아이템을 사용자에게 추천하지 않을 수 있음, 즉 이전보다 더 넓은 범위의 사용자의 의견 고려가 가능하다.

좋아하는게 같은 → 싫어하는게 다를 수 있나?

Based on the three ideas and two strategies, now we propose a novel solution to apply the notion of uninteresting items to the framework of any existing CF methods. To the best of our knowledge, ours is the first work to exploit the notion of uninteresting items in improving CF methods. Our proposed solution consists of three steps: (1) it infers the pre-use preferences of unrated items by solving the one-class collaborative filtering () problem [15], [20], (2) it assigns zero ratings to the found uninteresting items in whose pre-use preferences are not high, yielding an augmented matrix , and (3) it applies any of existing CF methods to , instead of . This simple-yet-novel imputation not only addresses the sparsity problem by enriching a rating matrix but also completely prevents uninteresting items from being recommended as top- items, thereby improving the overall accuracy greatly.

→ 3개의 아이디어와 2개의 전략을 바탕으로, 이제 기존 CF 방법의 Framework에 이라는 개념을 적용하는 novel한 solution을 제안한다.

우리가 알기로는, 우리의 연구가 CF 방법을 개선할 때 흥미없는 아이템이라는 개념을 활용하는 최초의 연구이다.

우리가 제안한 해결책은 세 단계로 구성된다:

(1) one-class collaborative filtering() 문제를 해결함으로써 평가되지 않은 아이템들의 pre-use preferences를 추론한다.

(2) pre-use preferences가 높지 않은 에서 발견된 에 평점 0을 할당하여 augmented(증강된) matrix 를 만든다.

(3) 대신 에 기존의 방법들을 적용한다. 이 간단하고 참신한 대입은 rated matrix를 풍부하게 함으로써 sparsity 문제를 해결할 뿐만 아니라, 흥미없는 아이템들이 top 아이템으로 추천되는 것을 완전히 방지함으로써 전체적인 정확도를 크게 향상시킨다.

💡

아이디어: 1) Exploit Uncharted Unrated Items 2) Some Unrated Items are Uninteresting 3) Uninteresting Items Have Low Pre-Use Preferences 전략: 1) 추천 결과에서 을 제외 2) 과 의 rating Data를 모두 활용 위 아이디어와 전략을 통해 기존의 에 이라는 개념을 통합하는 새로운 접근 방식을 제시 에 의 개념을 처음 적용한 연구이며이 분야에서의 새로운 시도임 → 자신의 연구의 novel하다, 즉 우리 연구가 좋은 것임을 강조 해결책: 1) 문제 해결하여 → unrated Item의 pre-use preference를 추론 2) pre-use preferences가 높지 않은 에 0을 삽입 → matrix 생성 3) 대신 (는 에 0을 대입한 rated matrix)를 에 적용 → (1) sparsity problem 해결 → (2) 이 top으로 추천되는 것 완전 방지(첫 페이지 추천 X)

To summarize, our main contributions are as follows:

We introduce a new notion of uninteresting items, and divide a user's preference into pre-use and post-use preferences to identify uninteresting items.

We successfully identify uninteresting items via the pre-use preferences inferred by solving the problem and show its implications and effectiveness.

We propose to exclude uninteresting items by means of zero-injection, and improve the prediction of relative preferences by considering uninteresting items.

We conduct comprehensive experiments using the real-world Movielens dataset and show that our solution improves the accuracy of baseline CF methods (e.g.,item-based CF, SVD-based CF, and SVD++) by 2.5 to 5 times on average, and reduces the running time of those CF methods by 1.2 to 2.3 times when its setting produces the best accuracy.

→ 요약하자면, 우리의 주요 기여는 다음과 같다:

우리는 novel한 개념인 흥미 없는 아이템()을 소개하고, 사용자의 선호도를 사용 전(pre-use) 및 사용 후(post-use) 선호도로 나누어 을 식별한다.

우리는 문제를 해결함으로써 추론된 사용 전 선호도를 통해 성공적으로 을 식별하고 그 의미와 효과를 보여준다.

우리는 zero-injection을 통해 을 제외하고, 을 고려함으로써 상대적 선호도의 예측을 향상시키려고 제안한다.

우리는 실제 세계의 Movielens 데이터셋을 사용하여 종합적인 실험을 수행하고, 우리의 해결책이 기준 CF 방법들(예를 들어, 아이템 기반 CF, SVD 기반 CF, SVD++)의 정확도를 평균적으로 2.5배에서 5배 향상시키며, 그 설정이 최고의 정확도를 제공할 때 그 CF 방법들의 실행 시간을 1.2배에서 2.3배 줄인다는 것을 보여준다.

💡

문제가 뭔데???

Table I. Notations used in this paper — **Table I.** Notations used in this paper

The organization of this paper is as follows. In Section 2, we explain the preliminaries of our approach. In Section 3, we present our approach in detail. In Section 4, we evaluate our approach in comparison with existing ones via extensive experiments. In Section 5, we present the related work. In Section 6, we finally conclude our work and discuss future research directions.

→ 이 논문의 구성은 다음과 같다.

Section 2에서는 우리 접근법의 서두를 설명한다.

Section 3에서는 우리의 접근법을 자세히 제시한다.

Section 4에서는 광범위한 실험을 통해 기존의 접근법들과 비교하여 우리의 접근법을 평가한다.

Section 5에서는 관련 연구를 제시한다.

Section 6에서는 우리 연구의 마지막 결론과 미래 연구 방향을 논의한다.

💡

preliminaries ????

Preliminaries ~ Proposed Approach: A. Inferring Pre-Use Preferences

Preliminaries

In this section, we introduce the details of uninteresting items by contrasting them to interesting items, rated items, and unrated items. Furthermore, we clarify the difference between pre-use preferences and post-use preferences.

→ 이 섹션에서, 우리는 uninteresting 아이템()의 세부사항을

1) 흥미 있는 아이템(interesting item)

2) 평가된 아이템(rated item)

3) 평가되지 않은 아이템 (unrated item)

이 3개와 대조(비교)함으로써 소개한다.

더 나아가, 우리는 pre-use preference와 post-use preference 사이의 차이를 분명히 밝힌다.

💡

uninteresting items() vs (by contrasting) interesting items, rated items, unrated items 비교를 통해 을 설명 pre-use preferences와 post-use preferences의 차이를 분명히 함 → 유저가 갖는 preferences는 아이템을 경험하기 전(pre)과 후(post)는 완전 다름

A user 's pre-use preference to an item is a different notion from a rating given to in a rating matrix, which really represents 's post-use preference to . Existing methods mainly attempt to exploit ratings (thus post-use preferences). Let us first introduce a few basic notations used throughout this paper. Let be a set of users, be a set of items, and be the rating given to item by user . A corresponding rating matrix is referred to as , and (resp. ) indicates user 's pre-use (resp. post-use) preference on item . In theory, both types of preferences and exist on a user-item pair () although in reality they are not always computable or available. Table I summarizes key notations used in this paper.

→ 유저 가 아이템 에 대해 갖는 pre-use preference는 실제로 가 에게 갖는 post-use preference인 rating matrix의 있는 평가된 와 다른 개념이다.

기존의 방법은 주로 rating을 활용하기 위해 시도한다.(따라서, post-use preferences를 다루기 위해 사용되었다.)

이 논문에서 사용된 몇 가지의 기본 표기법을 소개하겠다.

는 유저 m명의 집합이고, 는 아이템 n개의 집합이다. 는 사용자 가 아이템 에게 준 평가이다.

해당 rating matrix 로 나타내며, (각각. )는 유저 의 아이템 에 대한 pre-use(각각 post-use) preference를 나타낸다.

이론적으로, 두 종류의 선호도 와 는 user-item 쌍 ()에 존재하지만 실제로는 항상 computable(계산가능)하거나 available(이용가능)한 것은 아니다.

💡

pre-use preference와 post-use preference는 다른 개념이다. → rating matrix(즉, post-use preference가 반영된)는 유저의 사용 경험이 반영된다. 기존의 method는 사용자의 경험 rating(즉, post-use preference)에 초점을 맞추고 있다. <이 논문에서 사용된 기본 표기법 소개> : 유저 의 명의 집합 : 아이템 의 개의 집합 : rating matrix이며, 유저 가 행, 아이템 가 열에 있다. rating matrix: : 유저의 아이템에 대한 pre-use preference : 유저의 아이템에 대한 post-use preference 이론적으로는 user와 item 쌍에 pre-use, post-use preference 가 존재 문제: But, 실제로 이러한 선호도를 항상 computable, available 한 것은 아님 —> 왜??? 실제 환경에서는 존재하지 않는다 → 이를 여기서는 만들겠다.

Note that has pre-use preference on based on its external features that could obtain without actually using (e.g., genre or director information, in case of a movie). After using , based on the level of her satisfaction, then assigns a specific rating to , indicating her post-use preference for . The post-use preference is therefore determined by the inherent features that had not known before using (e.g., storyline or choreography of a movie). Let us contrast two preference types in a more detail using the following example.

→ 유저 가 아이템 에 대한 pre-use preference를 가지는 것은 의 실제 사용 없이 얻을 수 있는 외부 특성(예를 들어, 영화의 경우 장르나 감독 정보)에 기반한다.

를 사용한 후, 그녀의 만족도 수준에 기반하여, 는 에 구체적인 평점(post-use preference를 가르키는)을 할당한다.

따라서, post-use preference는 사용자가 를 사용하기 전에 알지 못했던 (아이템 의) 내재적 특성(예를 들어, 영화의 스토리라인이나 안무)에 의해 결정된다.

이제 두 개의 preference type(pre-use, post-use)을 다음의 예를 들어 더 자세히 비교하겠다.:

💡

pre-use preference: 유저 가 아이템 를 사용하기 전 external feature로 부터 얻는다. → 여기서 external feature란: 영화에서 장르, 감독정보 등을 통해 얻는 인상? post-use preference: 유저 가 아이템 를 사용한 후, 사용 전에는 알지 못했던 아이템 의 inherent feature를 통해 각자의 만족도를 기반으로 구체적인 평점을 부여 → 여기서 inherent feature란: 영화에서 스토리라인이나, 안무 등을 통해 얻는 인상

Example 1: Two Preference Types

Figure 1 illustrates the pre-use and post-use preferences of a user for three movies. Initially, has a high pre-use preference for Movie #1 and Movie #2. On the other hand, does not have high pre-use preference for Movie #3. In that case, Movie #1 and Movie #2 are to be called as interesting items to while Movie #3 as an uninteresting item. Thus, would decide to watch only two movies with high pre-use preferences. After watching the movies, likes Movie #1 as she expected but is disappointed at Movie #2. Therefore, assigns a high rating to Movie #1 and a low rating to Movie #2. In contrast, does not watch Movie #3 as it is an uninteresing movie to her. Her post-use preference to Movie #3 remains unknown (i.e., empty in a rating matrix).

→ Example 1: 두개의 Preference types(pre-use / post-use)

Figure1은 유저 가 3개의 영화에 대해 갖는 pre-use와 post-use preference(선호도)에 대해 설명한다.

초기에, 는 #1과 #2 영화에 높은 pre-use preference를 갖는다.

반면에, 는 #3 영화에는 높지 않은 pre-use preference를 갖는다.

이 경우에, 영화 #1과 #2는 에게 interesting item으로 불릴 수 있다.

반면에, 영화 #3은 에게 uninteresting item으로 불릴 수 있다.

따라서 는 오직 높은 pre-use preferences를 갖는 영화 두 개만 볼 결정을 할 것이다.

해당하는 그 영화를 본 뒤에, 에게 영화 #1은 그녀가 기대한 만큼 좋았지만, 영화 #2에는 실망했다.

그러므로, 는 영화 #1에게 높은 평가를, 영화 #2에게는 낮은 평가를 할당한다.

대조적으로 는 영화 #3을 보지 않는다. 왜냐하면 그녀에게 영화 #3은 uninteresting 영화이기 때문이다.

그녀의 영화 #3에 대한 post-use preference 는 알려지지 않은(unknown)인 채로 남아있다.(empty in a rating matrix).

💡

Fig. 1.

Pre-use, post-use preferences, and ratings for three movies.

Fig. 2.

Venn diagram for the preferences and interestingness of items.

Figure 2 further depicts how a user thinks about an entire set of items with the Venn diagram. Let interesting items denote items with high pre-use preferences while uninteresting items denote 's items with not-high pre-use preferences. The two item sets are disjoint, i.e., . (In Section III-B, we will explain how to identify uninteresting items from entire item set I.) We formally define them as follows:

→ Figure 2는 벤-다이어그램을 사용하여 유저 가 전체 아이템 집합 에 대해 어떻게 생각하는지를 더 자세히 보여준다.

interesting 아이템 집합 는 유저 가 높은 pre-use preference를 가진 아이템을 나타내고, uninteresting 아이템 집합 는 유저 의 pre-use preference가 높지 않은 아이템을 나타낸다.

이 두 아이템 집합은 상호 배타적인 관계(disjoint)를 가지며, 즉 입니다. (Section III-B에서는 전체 아이템 집합 I에서 관심 없는 아이템을 어떻게 식별하는지에 대해 설명한다.) 이를 다음과 같이 형식적으로 정의한다.

💡

그림 2는 벤-다이어그램을 통해 유저가 아이템 집합인 에 대해 어떻게 생각하는지를 더 자세히 보여준다. interesting item : 유저 가 높은 pre-use preference를 가진 아이템 uninteresting item : 유저 가 높지 않은 pre-use preference를 가진 아이템 이 둘은 disjoint 관계이다. 즉, 둘의 교집합은 공집합이며, 이 둘의 합집합은 전체 아이템 집합 이다

Definition 1: Uninteresting Items

For a user , a set of uninteresting items is defined as:

(1) =−and (2) ≤(∀i∈, ∀h∈).

Among interesting items , user buys/uses some items and evaluates them by assigning ratings. A set of items that are likely to get high ratings are called preferred items, denoted by , which is a subset of interesting items as shown in Figure 2 (i.e., ⊆).

→ 정의 1: uninteresting 아이템

유저 에 대해, uninteresting 아이템 집합 는 다음과 같이 정의된다:

(1) =−and (2) ≤(∀i∈, ∀h∈).

interesting 아이템 집합 중에서 유저 가 일부 아이템을 구매하거나 사용하고, 평가를 위해 평점을 할당한다. 높은 평점을 받을 가능성이 있는 아이템 집합을 선호하는 아이템으로 정의하며, 이를 로 표기하며, Figure 2에서 interesting 아이템의 부분집합이다 (i.e., ⊆).

💡

uninteresting item : → (1) =−and (2) (, ) → 즉, interesting item의 여집합이고, 모든 uninteresting item의 pre-use preference는 모든 interesting item의 pre-use preference 보다 작다. preferred item : 높은 평점을 받을 가능성이 있는 아이템 집합 → → 즉, interesting item의 부분집합(subset)이다.

In a real scenario, would be able to evaluate only a small fraction of interesting items. This item set, denoted by , is only a subset of (i.e., ). For this reason, if we understand the uninteresting items of each user, we can understand the users' taste more accurately.

→ 실제 시나리오(상황)에서 유저 는 interesting 아이템의 일부분만을 평가할 수 있다. 이 아이템 집합은 의 부분집합으로 표기되며, 로 나타낸다 (즉, ). 이러한 이유로 각 사용자의 관심 없는 아이템을 이해한다면 사용자의 취향을 더 정확하게 이해할 수 있다.

💡

evaluated item : 평가된 아이템들의 집합 → → 즉, interesting item의 부분집합(subset)이다.

Based on this viewpoint, our goal is to identify top- preferred items to user by considering the uninteresting items for each user. Specifically, user 's pre-use and post-use preferences for item are known while both types of preferences for item are unknown.

→ 이 관점을 기반으로, 우리의 목표는 각 유저의 uninteresting아이템을 고려하여 유저 에게 top-개의 선호 아이템을 식별하는 것이다.

구체적으로, 유저 의 아이템 에 대한 pre-use와 post-use preferences는 알려져 있지만, 아이템 에 대한 pre-use와 post-use preferences는 알려져 있지 않다.

💡

목표: 유저의 uninteresting 아이템을 고려하여 에게 top- preffered item을 식별하는 것 아이템 : 평가된 아이템 → → 즉, pre-use, post-use 모두 알고 있음 아이템 : 평가되지 않은 아이템 → → 즉, pre-use, post-use 모두름

Fig. 3. Overview of our approach.

If has evaluated item , its pre-use preference can be considered high. Based on known pre-use preferences, we infer the pre-use preferences of the remaining unknown items . In addition, its post-use preference can be directly indicated by the score of . We formally define our problem for top- recommendation as follows:

→ 만약 가 아이템 를 평가했다면, 그것의 pre-use preference 는 높다고 간주할 수 있다. known pre-use preferences를 기반으로, 남은 unknown items 의 pre-use preferences를 추론한다. 또한, post-use preference 는 의 점수로 직접 나타낼 수 있다. 다음과 같이 top-개 추천을 위한 문제를 형식적으로 정의할 수 있다.

💡

평가되지 않은 아이템 의 pre-use preference를 추론해야하는데 존재하는 를 활용하여 를 추론한다. → 여기서 란 가 를 평가 했다면 pre-use preference인 는 높다고 간주한다. 는 의 점수로 활용하여 나타낼 수 있다. → 여기서 란 가 를 평가한 post-use preference이다.

Problem 1: Top-N Recommendation

For user , identify top- items such that:

(1) and

(2)

→ 조건 1은 Intresting item에서 평가된 것들 제외한 것

조건 2는 의 post-use preference가 다른 의 여집합의 post-use preference보다 크거나 같아야한다.

💡

Top- 추천을 어떻게 할것인지 (1) 아이템 집합 는 interesting item 집합 - 평가된 집합의 부분집합 이다. → (2) 이렇게 설정된 의 post-use preference를 활용해 내림차순으로 N개를 추천한다. 여기서 N번째 post-use preference인 는 에 속한 집합의 모든 post-use preference 값보다 크거나 같다.

Proposed Approach

Existing methods employ user 's preferences only on evaluated (rated) items . On the other hand, our approach identifies uninteresting items and exploits them to enrich the rating matrix with additional user ratings. In addition, methods equipped with our approach could exclude those uninteresting items explicitly from top-recommendation. We carefully analyze the benefits of our approach in Section III-D.

→ 현존하는 methods들은 유저의 rated items만의 preference를 활용한다.

반면의 우리 접근은 uninteresting item을 식별하고, 활용하여 추가적인 user rating을 활용해 rating matrix를 풍부하게 만든다.

게다가, method에서 우리의 접근법은 top-에서 이러한 uninteresting item들을 명시적(분명히? explicitly)으로 제외할 수 있다.

우리는 Section 3-D(: Why Does Zero-Injected Matrix Help?)에서 우리의 접근법에 대한 장점을 분명하게 분석한다.

💡

The main challenges of our approach are two-fold: (1) how to identify uninteresting items among unrated items and (2) how to exploit uninteresting items thus discerned in methods. To address the first challenge, we need to infer the pre-use preferences for all of the unrated items, and to find those unrated items whose pre-use preferences are not high. For the second challenge, we build the zero-injected matrix whose some entries are set as 0 if their corresponding items are considered uninteresting. This augmented matrix can be applicable to any methods (thus making our approach method-agnostic), which enables those methods to benefit from uninteresting items in their predictions.

→ 우리의 접근법에 대한 challagnge(문제)는 두개로 나눌 수 있다.

(1) unrated item들 중 uninteresting item을 어떻게 식별할건지?

(2) 식별한 uninteresting item을 method에서 어떻게 활용할건지?

첫 번째 문제를 활용(해결?)하기 위해서,

우리는 unrated item들의 모든 pre-use preference를 추론해야한다.

그리고 unrated item들 중 높지 않은 pre-use preference를 찾아야 한다.

두 번째 문제를 위해서는,

우리는 uninteresting이라고 여겨지는 아이템들에 0을 설정한 zero-injected matrix를 구축해야한다.

이 augmented matrix는 어떠한 methods에도 적용될 수 있으며 uninteresting item에 대한 예측으로부터 method가 이점을 갖을 수 있다.

💡

weight → 일반적으로 0을 줄 수 없다? 스케일 값 중에서 가장 작은 값을 상징적으로 넣어준 것이다 이론적인 관점

Figure 3 depicts the overall process of our proposed approach. First, we build a pre-use preference matrix by examining a rating matrix . Specifically, we set the pre-use preference, , of a user on an item as 1 when has been already rated (i.e., must have liked so that she bought ) (Step 1). The value 1 is the highest pre-use preference because we represent as a real value in [0, 1]. Next, we infer (unknown) pre-use preferences on “unrated” user-item pairs () (i.e., =null) based on other observed pre-use preferences (i.e., =1) and add them in , which becomes (Step 2). We define uninteresting items for each user based on , and build a zero-injected matrix (Step 3).

That is, is set as when user has actually evaluated item and is set as 0 if is an uninteresting item for .

In our approach, an item is an uninteresting item for a user if 's pre-use preference score is ranked within the bottom % in .

Thus, is an augmented matrix that contains 's original ratings as well as “0”, inferred and injected by our solution. We then apply a method to to predict the post-use preferences of empty entries (dotted circles) in (Step 4). Finally, we recommend top- items to an active user. In the following subsections, we explain each step in detail.

→ Figure 3은 우리가 제안한 접근법에 대한 전체적인 과정을 나타낸다.

먼저,

rating matrix인 을 검사함으로써

pre-use preference 행렬인 를 구축한다.

구체적으로,

가 이미 평가되어 있을 때

pre-use preference() 즉, 유저 가 아이템 에게 느끼는 pre-use preference를 1로 설정한다.(예를들어, 는 를 좋아했기 때문에 를 샀다)(Step1)

여기서 pre-use preference 값 1은 매우 높은 값이다.

왜냐하면, 는 0 이상 1이하의 실수 값으로 표현되기 때문이다.

다음으로, (알려지지 않은, “평가되지 않은”) user-item 쌍()의 pre-use preference( = null)을 관측된 pre-use preference( = 1)를 기반으로 하여 추론한다.

그 후 matrix 는 matrix 이 된다.(Step2)

각 유저의 기반이 되는 을 통해 uninteresting item을 정의한다.

그리고 zero-injected matrix 를 생성한다(Step 3)

즉, 유저 가 실제 평가된 아이템 를 갖을 때 는 로 설정되고, 아이템 가 유저 에게 uninteresting item일 때 는 0으로 설정 된다.

만약, 아이템 의 pre-use preference score 인 가에 % 이하라면, bottom 아이템 는 유저 에게( —> ) uninteresting item이다.

그러므로, augmented matrix인 는 의 원래 평가같은 우리의 솔루션을 통한 추론과 삽입을 통해 “0”이 포함되어 있다.

우리는 그리고 method에서 에 비어있는 요소의 post-use prefernece 예측하도록 적용한다. (Step 4)

마지막으로, 우리는 top- 아이템을 active user에게 추천한다.

다음 소주제에서 각 스텝을 자세히 설명한다.

💡

A. Inferring Pre-Use Preferences

It is straightforward to determine a pre-use preference when a user has already rated an item (i.e., ) because must be interesting to in the beginning, i.e., . As such, we set the pre-use preference as 1 in this case. When has not rated (i.e., ), determining becomes non-trivial. Therefore, our main challenge is to accurately infer pre-use preferences pui when unrated.

A. pre-use preference 추론하기

→ 유저 가 이미 평가된 아이템 (즉, )에 해당 하는 값을 갖고 있을 때 pre-use preference()를 결정하는 것은 수월하다.

왜냐하면 는 에게 처음부터 흥미로웠을 것이기 때문이다. → .

이러한 경우에 우리는 pre-use preference인 를 1로 설정한다.

유저 가 아이템 에 대한 평가가 없을 때() 는 자명하지 않다.

그러므로, 메인 challenge는 unrated item들에서 pre-use preference인 를 정확히 추론하는 것이다.

💡

To address our challenge, we propose to borrow the framework of the one-class collaborative filtering () problem [15], [20]. The problem occurs when a rating score is unary such as clicks, bookmarks, and purchases so that either a cell in a matrix has null value or a single value indicating “yes.” Meanwhile, ambiguity arises in the interpretation of unrated items. That is, it is difficult to differentiate negative and positive examples that co-exist among unrated items [15]. Some unrated items could be positive as the user was not aware of the existence of the items but if she knew she would have liked them. On the other hand, some are negative as the user knew about the items but decided not use them as she did not like them.

→ 우리의 challenge를 해결하기 위해 problem의 프레임워크를 차용할 것을 제안한다.

problem은 click, bookmark, purchase와 같이 rating score가 행렬의 셀 중 하나가 null 값을 갖거나 “yes”를 나타내는 단일 값을 가질 때 발생한다.

반면에, unrated item의 해석에 모호성이 발생한다 .

즉, unrated item 사이에서 공존하는 negative와 positive의 예를 구별하기가 어렵다.

일부의 unrated item들은 user가 그 아이템에 대한 존재를 모르지만 그것을 좋아했을 것을 알기 때문에 긍정적이다.

반면에 일부는 user가 그 아이템을 알고 있었지만 그것을 좋아하지 않아 사용하지 않기로 결정했기 때문에 부정적이다.

💡

This problem setting happens when we infer pre-use preferences for unrated items. That is, known pre-use preferences for rated items have a value of 1 (i.e., ), and missing pre-use preferences for unrated items are ambiguous. In Figure 2, we observe that both unlabeled positive examples () and negative examples () co-exist in the set of items whose pre-use preferences are unknown (). We thus employ the method [15] to infer pre-use preferences.

→설정한 문제는 우리가 unrated item의 pre-use preference를 추론할 때 발생한다.

즉, 알려진 rated item을 통해 알려진 pre-use preference()는 1을 갖으며, unrated item을 통해 누락된 pre-use preference는 애매하다.

Figuire 2에서, 우리는 지정되지 않은 positive example ()과 negative example()이 알려지지 않은 pre-use preference()에 공존한다는 것을 관찰했다.

우리는 그러므로 method를 활용해 pre-use preference를 추론한다.

💡

The basic idea of the method is to treat all unrated items as negative examples, and assign weights to quantify the relative contribution of these examples. In our situation, it assigns 0 to whose value is null in and determines weight by three schemes: uniform, user-oriented, and item-oriented schemes. In this paper, we employ the user-oriented scheme that was the best performer in [15]. The intuition of the user-oriented scheme is essentially as a user rates more items, she is more likely to dislike unrated items. That is, it computes the weight in proportion to the number of items rated by . The method finally updates the value of whose value is 0 using all entries in and their corresponding weights. We treat the updated values as the inferred pre-use preference scores.

→ method의 기본 아이디어는 모든 unrated item을 negative example로 취급하고, negative example의 상대적 기여도를 측정하기 위해 weight를 할당하는 것이다.

우리의 상황에서는 에서 null인 값이었던 에 0을 할당하고 weight()를 세 개의 scheme으로 정한다: uniform, user-oriented, and item-oriented schemes

본 논문에서는 [15]에서 가장 높은 성능을 보여준 the user-oriented schem를 사용한다.

user-oriented scheme의 직관은 본질적으로(필연적으로) 사용자가 더 많은 아이템을 평가할 수록, 평가하지 않은 아이템들을 싫어할 가능성이 높아진다는 것이다.

즉, 에 의해 평가된 아이템의 수에 비례하여 가중치 는 계산된다.

method는 최종적으로 값이 0인 의 값을 의 모든 요소와 해당 가중치를 사용하여 업데이트한다.

업데이트된 값을 추론된 pre-use preferences score로 다룬다.

💡

To update the values, the method employs the weighted alternating least squares (wALS) method [21] in building an model with a matrix and weights. It infers the preference scores for each user's unrated items via the model. The wALS method decomposes a matrix into two low-rank matrices and while optimizing an objective function . The matrix represents observed pre-use preferences in our case, i.e., . The matrices and represent the features of users and items for latent factors, respectively. The objective function is represented as follows:

(1)

→ 값들을 업데이트하기 위해, method는 행렬과 가중치를 가진 모델을 building하는 데 가중치가 있는 교대 최소 제곱(wALS) 방법 [21]을 사용한다.

wALS은 모델을 통해 각 user의 unrated items에 대한 preference score를 추론한다.

wALS method은 목적(objective) 함수 를 최적화하면서 행렬 를 두 개의 저차원 행렬 와 로 분해한다.

행렬 는 관찰된 pre-use preference를 나타낸다, 즉, .

행렬 와 는 각각 user와 item의 latent factors에 대한 feature을 나타낸다.

목적 함수는 다음과 같이 표현된다.:

(1)

💡

where and are the entries in the observed pre-use preference matrix and the weight matrix , respectively. The vector is the -th row of matrix , and the vector is the -th row of matrix . The two vectors represent the features of user and item . In addition, denotes the Frobenius norm and is a regularization parameter.

In order to factorize the matrix , the method first assigns random values to elements in the matrix , and updates elements in the matrix as in Eq. (2) by optimizing the objective function. :

(2)

→ 여기서 와 는 각각, 관찰된 pre-use preference matrix 와 weight matrix 에서의 요소이다.

벡터 는 행렬 의 번째 행이고, 벡터 는 행렬 의 번째 행이다. 이 두 벡터는 각각 사용자 와 아이템 의 특성을 나타낸다.

또한, 는 프로베니우스 노름을 나타내며 는 정규화 파라미터이다.

행렬 를 분해하기 위해,

method은 먼저 행렬 의 요소에 random 값을 할당하고,

목적(objective) 함수를 최적화함으로써 식 (2)에 따라 행렬 의 요소들을 업데이트한다. :

(2)

💡

OCCF 방법의 행렬 분해 과정을 설명. (1) 초기에 행렬 의 요소에 랜덤 값들을 할당하고, (2) 목적 함수를 최적화하면서 행렬 의 요소들을 업데이트. → 행렬을 두 개의 저차원 행렬 와 로 분해하는 과정

where is a diagonal matrix with elements of on the diagonal, and matrix is an identity matrix. After that, the OCCF method updates elements in the matrix while fixing the matrix as in Eq. (3). :

(3)

→ 여기서 는 대각선에 의 요소를 가진 대각 행렬이며,

행렬 은 단위 행렬(Identity matrix)이다.

그 후, method는 식 (3)에 따라 행렬 를 고정한 상태에서 행렬 의 요소들을 업데이트한다. :

💡

가중치 행렬 : 대각선 요소로만 구성된 행렬 → 각 요소가 유저 에 대한 가중치 를 나타냄 단위 행렬(identity matrix) : 대각선 요소가 1이고 나머지가 0인 행렬 행렬 를 고정하고 행렬 를 업데이트하는 과정 → 행렬의 각 행(아이템의 특성을 나타내는 벡터)을 계산하는 과정 user의 preference 및 weight와 관련된 정보를 사용하여 item의 feature를 업데이트

We optimize the objective function by repeating Eq. (2) and Eq. (3) until matrices and converge to a local optimum. Finally, we approximate matrix by calculating an inner product of and as in Eq. (4) where an entry in the matrix represents a pre-use preference score of user for item .

(4)

→ 행렬 와 가 local optimum으로 수렴할 때까지

식 (2)와 식 (3)을 반복함으로써 목적 함수를 최적화한다.

마지막으로, 식 (4)에 따라 와 의 inner product을 계산함으로써 행렬 를 근사한다.

여기서 행렬 의 요소 는 유저 의 아이템 에 대한 pre-use preference score를 나타낸다.

💡

행렬 와 가 최적의 값을 찾을 때까지 식 (2)와 식 (3)을 반복하여 실행 → 유저와 아이템 간의 latent factor 를 찾기 위한 반복적인 최적화 과정 은 유저와 아이템 간의 pre-use preference를 나타내는 근사치 → 행렬 와 의 내적을 통해 계산 → 각 요소는 특정 유저의 특정 아이템에 대한 추론된 pre-use preference score를 나타냄

Proposed Approach: B. Identifying Uninteresting Items ~ Evaluation: C. Q2: User’s Satisfaction on Uninteresting Items

B. Identifying Uninteresting Items

Once pre-use preferences of unrated items are inferred, next, we attempt to identify uninteresting items. Based on the pre-use preference scores inferred by the method, a user 's uninteresting items are defined as follows:

(5)

where indicates the percentile rank of among all user-item pairs whose ratings are missing in . For instance, indicates that we assign all unrated items whose percentile ranks of pre-use preference scores are at the bottom 20% as uninteresting items.

→ B. 흥미없는 아이템 식별

unrated item들에 대한 pre-use preference가 추론(inferred)되면, 다음으로 우리는 uninteresting item들을 식별하려고 시도한다.

method에 의해 추론(inffered)된 pre-use preferences score에 기반하여, 사용자 의 uninteresting item들은 다음과 같이 정의된다:

(5)

여기서 는 에서 평점이 누락된 모든 유저-아이템 쌍 중에서 의 백분위 순위를 나타낸다.

예를 들어, 는 pre-use preference score의 백분위 순위가 하위 20%에 있는 모든 unrated item들은 uninteresting item으로 지정한다는 것을 나타낸다.

하위 20프로????

💡

pre-use preference 추론 후 다음 단계로, uninteresting 아이템들을 식별하는 과정 백분위 순위 임계값을 설정하여, 해당 임계값 이하의 백분위 순위를 가진 아이템들을 unintersting item으로 분류하는 방법

In Eq. (5), we do not use an absolute cut-off value for pre-use preference scores because the method is originally designed for computing users' relative preferences. In addition, we adjust the parameter to obtain the best accuracy for top- recommendation. If is set high, a large number of zero ratings are injected to , leading a less sparse rating matrix at the cost of some zeros being false set. On the hand, if is set low, we may not be fully utilizing the benefit of uninteresting items as only a small number of zero ratings are injected. Our simple use of relative cut-off based on percentile rank works well, at the end, as we will demonstrate in experiments.

→ 식 (5)에서, 우리는 pre-use preference scores에 대한 절대적인 임계값을 사용하지 않는다. 왜냐하면 방법은 본래 유저의 relative preference를 계산하기 위해 설계되었기 때문이다.

또한, 우리는 top- 추천의 최고의 정확도를 얻기 위해 파라미터 를 조정한다

만약 가 높게 설정된다면, 많은 수의 0 평점들이 에 삽입되어, 일부 0들이 잘못 설정되는 대가로 덜 sparse한 rating matrix가 된다.

반면에, 가 낮게 설정되면, 적은 수의 0 평점들만 삽입되기 때문에 unintresting 아이템들의 이점을 충분히 활용하지 못할 수 있다.

결국, 우리의 간단한 상대적 임계값 사용은 백분위수 순위에 기반한 것으로, 실험을 통해 잘 작동함을 설명할 것이다.

💡

방법이 사용자의 상대적 선호도를 계산하는 데 초점을 맞추고 있기 때문에, pre-use preference scores에 대해 절대적인 임계값을 설정하지 않는다 top- 추천의 정확도를 최대화하기 위해 파라미터(uninteresting 아이템을 결정하는 백분위수 임계값)를 조정 를 높게 설정할 경우, 많은 0 평점들이 행렬 에 추가되어 rating matrix의 sparse를 감소 But, 일부 0 평점들이 실제로는 Intersting인 경우도 잘못 포함될 수 있음 를 낮게 설정할 경우, 0 평점들이 적게 삽입되어 unintersting 아이템들을 효과적으로 식별하고 활용하는 데 한계가 있을 수 있음 → 즉, original rating matrix 과 큰 차이가 없어 성능에 개선이 없다 백분위수 순위에 기반한 relative cut-off 설정이 실제 실험에서 효과적으로 작동한다 → 실험을 통해 입증

Fig. 4.

A pre-use preference matrix .

Example 2

Figure 4 illustrates a pre-use preference matrix , where the cells with 1 and with decimal numbers are originally derived from the rated and unrated items in , respectively. As a larger is set, more items are determined as uninteresting items. For example, when , only light-colored cells become uninteresting items. If , both light and middle-colored cells become uninteresting items. Finally, when , all colored cells become uninteresting items. Note that the number of uninteresting items could be different per user. For instance, when , the numbers of uninteresting items for and are 1 and 4, respectively.

→ Figure 4는 pre-use preference matrix 를 나타낸다. 여기서 1로 표시된 셀과 소수점으로 표시된 셀은 각각 에서 rated item과 unrated item에서 유래된다. 더 큰 가 설정될수록 더 많은 아이템들이 uninteresting 아이템으로 결정된다.

예를 들어, 일 때는 밝은 색 셀만 uninteresting아이템이 된다. 만약 이라면, 밝은 색과 중간 색 셀 모두 uninteresting 아이템이 된다. 마지막으로, 일 때는 모든 색이 있는 셀이 uninteresting아이템이 된다.

User마다 uninteresting 아이템의 수가 다를 수 있다는 점에 유의해야한다.

예를 들어, 일 때, 유저 과 의 uninteresting 아이템 수는 각각 1개와 4개이다.

💡

값 ⬆️ → unintresting으로 분류되는 아이템의 수 ⬆️ : uninteresting 아이템을 결정하는 백분위수 임계값 같은 값이라도 유저에 따라 uninteresting 아이템의 수가 다를 수 있다 → 각 유저의 개별적인 선호도 패턴이 다양할 수 있음

It is worthwhile to emphasize that our approach identifies uninteresting items more broadly than what a user herself would have recognized. In a real setting, even if asked, users are able to review only a small fraction of (millions of) unrated items to identify truly uninteresting items. In contrast, our approach finds uninteresting items that users have not recognized yet but are likely to consider uninteresting when presented.

→ 우리의 접근법이 유저 스스로가 인식할 수 있는 것보다 훨씬 넓게 uninteresting 아이템들을 식별한다는 점을 강조하는 것은 가치가 있다.

실제 환경에서는, 요청받았다 하더라도 유저들은 수백만 개의 평가되지 않은 아이템 중 극히 일부만을 검토하여 uninteresting 아이템들을 식별한다.

반면, 우리의 접근법은 사용자들이 아직 인식하지 못한, 하지만 제시되었을 때 uninteresting으로 여길 가능성이 높은 아이템들을 찾는다.

💡

제안된 접근법이 유저가 스스로 인식할 수 있는 범위를 넘어서 uninteresting 아이템들을 보다 폭넓게 식별할 수 있다 실제 상황에서 사용자들이 unrated item 수백만 개에서 실제로 uninteresting 아이템들을 식별하는 것이 어렵다 제안된 접근법이 사용자가 아직 인식하지 못한 아이템들 중에서 uninteresting 들을 효과적으로 찾아낼 수 있음

C. Zero-Injection

This paper proposes a novel approach to fill a part of missing ratings, named as zero-injection, which assigns a zero value to in if an item is determined as a user 's uninteresting item. We inject zeros for missing ratings because a user would not be satisfied with her uninteresting items even when recommended.

By augmenting a rating matrix with zeros, the zero-injection method builds a new matrix that contains zero ratings as well as actual user ratings. We call this augmented matrix as zero-injected matrix , where entry can be represented as follows:

, if has evaluated ;

, if (1) has not evaluated ,and(2) is an uninteresting item to ;

, otherwise

→ 이 논문은 missing rating의 일부를 채우는 새로운 접근법인 zero-injection을 제안한다.

아이템 가 유저 에게 uninteresting 아이템으로 판단될 경우 의 에 0 값을 할당한다.

유저가 아이템을 추천을 받더라도 uninteresting 아이템에 만족하지 않을 것이기 때문에 누락된 평점에 대해 0을 주입한다.

rating matrix 에 0을 추가함으로써, zero-injection method는 0 평점뿐만 아니라 실제 유저 평점도 포함하는 new matrix 를 build한다

augmented matrix 를 zero-injected matrix 라고 부르며, 여기서 요소 는 다음과 같이 표현될 수 있다:

💡

기존 rating matrix 에 0을 추가함으로써 새로운 matrix 를 생성한다 → 새로운 matrix는 실제 유저의 평점과 uninteresting으로 판단한 0 평점을 모두 포함하여 정확도를 높인다.

, if has evaluated ;

, if (1) has not evaluated ,and (2) is an uninteresting item to ;

(1) 는 에 대한 평가가 없고, (2) 는 에게 uninteresting item일 때

, otherwise

Note that is set as if user has rated item . On the other hand, if has not been rated by () and its pre-use preference is not high, is set as 0. Otherwise, is set as null, indicating “unknown.” Entry indicates a user 's rating for an item . When the value of is zero, it implies that user is very unlikely to love item even though is recommended to . When the value of is the rating given by user , it indicates that user is satisfied with item to the extent that its rating score indicates.

→ (1) 유저 가 아이템 를 평가한 경우, 는 로 설정된다.

(2) 반면, 아이템 가 유저 에 의해 평가되지 않았고(),

pre-use preference()가 높지 않은 경우, (즉, unintesting item으로 식별된 경우)

→ 는 0으로 설정한다 (→ uninteresting item으로 판단)

(3) 그 외의 경우에는, 는 null로 설정되어 'unknown'을 나타낸다.

요소는 유저 의 아이템 에 대한 평점을 나타낸다.

의 값이 0일 때, 이는 유저 가 아이템 를 추천받았더라도 그 아이템을 좋아할 가능성이 매우 낮다는 것을 의미한다.

의 값이 유저 에 의해 주어진 평점일 때, 유저 가 그 평점이 나타내는 만큼 아이템 에 만족한다는 것을 나타낸다.

💡

zero-injection matrix 의 각 요소가 유저의 아이템에 대한 평점을 어떻게 나타내는지 설명. → 0 값: 사용자가 아이템에 대해 관심이 없음을 → 실제 평점 값: 사용자가 아이템에 만족함

Note that our proposed approach works regardless of the choice of underlying methods as we can simply replace the original rating matrix by the zero-injected matrix . In other words, our approach is orthogonal to existing methods, which is one of strengths in our approach. Businesses and recommender systems can choose any appropriate methods suiting their particular settings, yet still use our proposed idea for improving accuracy and running time.

→ 우리가 제안한 접근법은 기본적인 method 의 기본 선택에 상관없이 작동한다. 왜냐하면 우리는 원래의 rating matrix 을 zero-injected matrix 로 간단하게 대체할 수 있기 때문이다.

다시 말해, 우리의 접근법은 기존 method들과 직교(독립적으)로 작동하는 것으로, 이는 우리 접근법의 강점 중 하나이다.

기업과 추천 시스템은 그들의 특정한 설정에 적절한 방법을 선택할 수 있으며, 여전히 우리가 제안한 아이디어를 정확도와 실행 시간을 향상시키기 위해 사용할 수 있다.

💡

제안된 접근법이 다양한 CF method와 호환됨 → rating matrix → zero-injected matrix 기업이나 추천 시스템이 요구사항에 맞는 CF method를 선택하면서도 제안된 'zero-injection' 을 적용하여 추천의 정확도와 실행 시간을 향상시킬 수 있다

Our proposed approach can improve the methods in two aspects. When methods are applied, the zero-assigned items for a user are excluded from her recommendation list (as ratings are zero). We note that existing methods consider all items whose ratings are missing as recommendation candidates. Therefore, the zero-injected matrix prevents a user's uninteresting items 2 from recommendation. In addition, the zero-injected matrix provides a much more number of ratings (including ratings with zero values) than the original rating matrix. Thus, the CF methods equipped with our approach are able to understand relative users' preferences more accurately when they are applied to the zero-injected matrix. Moreover, as the number of recommendation candidates reduces, the computational cost also decreases because the CF methods have only to compute the relative preferences for a small number of items.

→ 우리가 제안한 접근법은 두 가지 측면에서 방법을 개선할 수 있다.

(1) method가 적용될 때, 유저에게 할당된 0 평점 아이템들은 추천 목록에서 제외된다(평점이 0이기 때문에).

기존의 method들은 평점이 누락된 모든 아이템들을 추천 후보로 생각한다.

따라서, zero-injected matrix는 유저의 uninteresting 아이템들이 추천되는 것을 방지한다.

(2) 또한, zero-injected matrix는 원래 rating matrix보다 훨씬 더 많은 수의 평점들(0 값 포함)을 제공한다.

따라서, 이 접근법을 적용한 method들은 zero-injected matrix가 적용될 때 유저의 상대적 preference를 더 정확하게 이해할 수 있다.

추가적으로, 추천 후보의 수가 줄어들기 때문에 계산 비용도 감소한다. 왜냐하면 CF method들은 적은 수의 아이템들(→ augmented matrix에 0으로 삽입 된 셀들은 제외하기 때문에??)에 대해서만 상대적 preference를 계산해야 하기 때문이다.

💡

기존의 CF method: 평점이 없는 모든 아이템을 추천 후보로 간주 →비효율적, uninteresting 아이템이 추천 목록에 포함됨 zero-injected matrix: 유저의 uninteresting 아이템들이 추천되는 것을 방지 → data sparsity 해결 → 정보 증가 → 성능 증가 → 유저의 상대적 preference를 더 정확하게 이해 → 추천 후보의 수 ⬇️ → 계산 비용 ⬇️

Similar to our approach, PureSVD [4] also assigns zero values to missing ratings. Unlike our approach, however, PureSVD has no regard for identifying users' uninteresting items, and fills zero to “all” missing ratings (items i∈I−Ievalu for each user in Figure 2). PureSVD regards user's favorite items as the items with low preferences (Iinu⊆I−Ievalu in Figure 2). Unlike this approach, our zero-injection selectively fills only the items in of low pre-use preference scores with zeros, recognizing a user 's taste more precisely. Moreover, PureSVD cannot explicitly prevent uninteresting items from being recommended. In experiments, we demonstrate the superiority of our approach over PureSVD.

→ 우리의 접근법과 유사하게, PureSVD [4]도 누락된 평점에 0 값을 할당한다

그러나 우리의 접근법과 달리, PureSVD는 유저의 uninteresting 아이템을 식별하는 것에 상관 없이, 모든 missing rating에 0을 채운다. (missing rating: 각 유저에 대한 아이템들→ 즉, 모든 unrated item)

PureSVD는 유저의 좋아하는 아이템들도 낮은 선호도를 가진 아이템들로 간주한다

→ 문제: (그림 2의 ). → 평가 되지 않은 모든 셀을 uninteresting으로 간주하여 0으로 채우므로

이 방법과 달리, zero-injection은 낮은 pre-use preference score를 가진 의 아이템들만을 선택적으로 0으로 채워 유저 의 입맛(취향)을 더 정확하게 인식한다.

추가적으로, PureSVD는 uninteresting 아이템들이 추천되는 것을 명시적으로 방지할 수 없다.

실험을 통해, 우리는 우리의 접근법이 PureSVD보다 우수함을 증명한다.

💡

PureSVD: 모든 누락된 평점에 0 값을 할당하는 방식이 본 논문과 유사 unrated → 평가를 나중에 안한다. 질문: CF는 (1) rating prediction (2) Top-N 추천으로 나눌 수 있는 것으로 알고 있는데, 즉, 유저 에게 Top-N을 추천해주기 위해서, unrated item들을 rating prediction 하여 Top-N을 추천해주는것인데, 모든 값을 0으로 채우면, rating matrix에는 unrated item이 없게 되어 rating prediction할 것이 없는거 아닌가? → 1) 모든 값을 0으로 채우면, rating prediction은 task에서 제외 되는 것인가? → 2) 이렇게 되면 무엇을 추천을 해주는 거지?

D. Why Does Zero-Injected Matrix Help?

We argue that the zero-injected matrix helps improve the accuracy of any methods. To present the ground for our argument, we discuss the effect of our approach when applied to two popular methods: the item-based collaborative filtering () [19] and the -based method () [24].

ICF predicts a rating for a target item of a user by referencing her ratings on those items similar to the item as follows:

(6)

where is a set of (up to) items that have users' rating patterns most similar to that of and 's rating is known for. If there are less than users who have evaluated , includes this number of items only instead of . In addition, denotes the similarity between items and in terms of users' rating patterns. This paper adopts Pearson's correlation coefficient as a similarity metric, which is widely used in recommendation field [1], [3].

→ D. 제로 주입 매트릭스가 왜 도움이 되는가?

우리는 zero-injected matrix가 모든 methods의 정확도를 향상시키는 데 도움이 된다고 주장한다.

우리 주장의 근거를 제시하기 위해, 우리의 접근법이 두 가지 인기 있는 방법에 적용되었을 때의 효과를 논의한다: Item-based collaborative filtering() [19]과 -based method() [24].

는 유저 의 대상 아이템 에 대한 평점 을 다음과 같이 아이템 와 유사한 아이템들에 대한 그녀의 평점을 참조하여 예측한다.

(6)

위 식에서 는 아이템 와 가장 유사한 유저 평점 패턴을 가진 최대 개의 아이템들의 집합이며, 유저 의 평점이 알려진 아이템들에 대한 것이다.

만약 를 평가한 아이템가 명 미만이라면, 는 이 수만큼의 아이템들을 포함한다.

→ 즉, k가 3인데, 에는 2개밖에 없다면, 2개만 포함한다

게다가, 는 유저 평점 패턴 측면에서 아이템 와 사이의 유사도를 나타낸다. 이 논문에서는 추천 분야에서 널리 사용되는 피어슨 상관 계수(Pearson's correlation coefficient)를 유사도로 적용한다 [1], [3].

💡

내가 rating →

Fig. 5.

Rating and zero-injected matrices in .

Figure 5 illustrates the difference between a rating matrix and its corresponding zero-injected matrix built by our approach. We observe that, unlike has extra zero ratings (in boldface) implying users' uninteresting items.

→ 그림 5는 rating matrix 과 우리 접근 법에 의해 만들어진 zero-injected matrix 의 차이를 설명한다.

과 다르게 는 추가적인 유저의 uninteresting 아이템을 암시하는 평가 0이 추가되어 있다.(굵은 체로)

💡

Suppose that predicts the rating of a user for an item when its parameter is set as 3. With the rating matrix, it refers to only for prediction because has not rated and (i.e., and are nulls). Therefore, its predicted rating would be inaccurate due to the sparsity problem. On the other hand, thanks to zero-injection, considers more ratings, and , in addition to with . This is because item set now contains a more number of ratings, including two uninteresting items.

→ parameter 를 3으로 설정했을때, 가 유저 이 아이템 에 대해 평가한 을 예측한다고 가정하자.

rating matrix 에서 이 와 을 평가하지 않았기 때문에(와 가 null), 단지 만 prediction을 위해 참조한다.

따라서, sparsity 문제로 인해 예측된 평점은 부정확할 것이다.

반면에, zero-injection 덕분에, 는 와 함께 와 도 고려하여 이외의 더 많은 평점들을 고려한다.

item 집합 는 현재 2개의 uninteresting을 포함한 더 많은 수의 평가를 갖고 있기 때문다.

💡

In addition, our approach helps find the items that are truly similar. With , may conclude that and are highly similar because gives 1 to both of them. However, the similarity can be inaccurate because it is based on only a single user's opinion. With , the two items are regarded less similar because rated two items as quite different. As such, the zero-injected matrix is useful to compute a more accurate similarity because it enables to reflect more users' opinions. In particular, we note that the zero-injection makes it possible for to successfully find truly similar users who have a set of “uninteresting” items in common, which has been overlooked in existing CF methods.

→ 또한, 우리의 접근 방식은 실제로 유사한 아이템을 찾는 데 도움이 된다.

에 있어서, 는 가 과 에 각각 1의 rating를 주기 때문에 매우 유사하다고 결론짓을 수 있다.

그러나 이 유사도는 single 유저의 의견에 기반하고 있기 때문에 정확하지 않을 수 있다.

에서는 가 두 아이템을 꽤 다르다고 평가했기 때문에 두 아이템은 상대적으로 덜 유사하게 여겨진다.

따라서, zero-injected matrix는 더 정확한 유사도를 계산하는 데 유용하다. 왜냐하면 를 통해 더 많은 사용자의 의견을 반영할 수 있기 때문이다.

특히, 우리는 zero-injection을 통해 는 'uninteresting' 아이템 집합을 공유하고 있는 서로 유사한 유저들을 성공적으로 찾을 수 있다는 점에 주목한다.

이는 기존의 method 에서 간과되었다는 점을 주목한다

💡

In Figure 5, we only show the accuracy improvement owing to a more number of items in . Moreover, even when the number of items in is the same, the accuracy could increase because with our zero-injected matrix contains those items more similar to item than obtained with .

→ Figure 5에서는 에 있는 아이템의 개수가 더 많아져서 정확도가 향상되는 것만을 보여준다.

게다가, 에 있는 아이템의 개수가 같더라도, zero-injected matrix를 사용한 는 을 사용하여 얻은 보다 아이템 와 더 유사한 아이템을 포함하므로 정확도가 증가할 수 있다.

💡

Next, we also explain how the zero-injected matrix makes existing -based methods [24] more accurate. Given , factorizes it into an inner product of two low-rank matrices and with a dimension . That is, one low-rank matrix is an -by- user-factor matrix and the other is an -by- item-factor matrix. Each user is thus associated with an -dimensional vector . Each item is involved with an -dimensional vector . The rating prediction for is computed by Eq. 7:

(7)

→ 우리는 또한 zero-injected matrix이 어떻게 기존의 SVD-based method를 더 정확하게 만드는 방법에 대해 설명한다.

주어진 에 대해, 는 두 개의 차원 행렬 와 의 내적으로 분해한다.

즉, 하나의 저차원 행렬은 -by- 크기의 user-factor matrix이고

다른 하나는 -by- 크기의 item-factor matrix이다.

따라서 각 유저 는 -차원 벡터 와 연관되어 있다.

각 아이템 는 -차원 벡터 연관되어 있다.

에 대한 평점 예측은 식 7에 의해 계산된다:

💡

With the original rating matrix in Figure 5, cannot recognize that is related to or because they have no common items rated. In contrast, using , it now successfully observes the relationship between those users, i.e., both and are not interested in , and have different opinions on .

Similarly, it also misses items' relationships such as and with while it is able to find the relationships with . Therefore, can build a better model representing more latent relationships among users and items with our zero-injected matrix, which helps improve the overall accuracy of top- recommendation.

→ Figure 5에서 original rating matrix 을 사용할 경우,

는 가 이나 와 관련이 있다는 사실을 인식할 수 없다.

왜냐하면 그들은 공통된 아이템에 대해 평점을 매기지 않았기 때문이다.

반면에 를 사용하면, 이제 그들 사이의 관계를 성공적으로 파악할 수 있다.

예를 들어, 와 은 모두 에 관심이 없고, 에 대해 다른 의견을 가지고 있음을 알 수 있다.

마찬가지로, 을 사용할 때는 와 과의 관련성을 놓치지만, 를 사용하면 그 관련성을 찾아낼 수 있다. 따라서, 는 우리의 zero-injected matrix을 사용하여 사용자와 아이템 간의 더 많은 숨겨진 관계를 나타내는 더 나은 모델을 구축할 수 있으며, top-개의 추천에서 전반적인 정확도를 향상시키는 데 도움이 된다.

💡

SVD → Rating만을 갖고 하는 것

Evaluation

In this section, we evaluate the effectiveness and efficiency of our proposed approach with a real-life dataset and an open-source implementation of existing methods. Specifically, we first validate the accuracy of the method [15] to infer users' pre-preferences in comparison with other methods and also verify our assumption that users are unlikely to use uninteresting items with low pre-use preferences. In addition, we perform the sensitivity analysis on parameter that is crucial to determine uninteresting items. Finally, we show the accuracy and running time of the modified methods equipped with our approach compared with the original ones.

→ 평가

이 섹션에서는 실제 데이터셋과 기존 방법들의 오픈 소스 구현을 사용하여 제안한 접근법의 효과성과 효율성을 평가한다.

구체적으로, 우리는 먼저

(1) OCCF method [15]의 accuracy 를 다른 방법들과 비교하여 유저의 pre-use preference를 추론하는 데 대해 검증하고, 유저들이 낮은 pre-use preference를 가진 uninteresting 아이템들을 사용할 가능성이 낮다는 가정을 확인한다.

(2) 또한, 우리는 uninteresting 아이템을 결정하는 데 중요한 parameter 에 대한 민감도 분석을 수행한다

(3) 마지막으로, 우리는 원래의 방법들과 비교하여 우리의 접근법을 적용한 수정된 CF method들의 정확도와 실행 시간을 보여준다.

💡

(1) OCCF method vs 다른 method → pre use preference 추론 비교 검증 → 낮은 pre-use preference를 가진 아이템을 사용하지 않을 것이라는 가정을 검증 (2) uninteresting 아이템을 결정하는 parameter 에 대한 민감도 분석 수행 (3) 제안된 접근법(augmented matrix )을 적용한 method들의 성능을 기존 method들(original rated matrix )과 비교하여 평가 → augmented matrix vs original rated matrix → 정확도와 실행 시간 가장 중요: pre-use preference → uninteresting 로 식별하는 것 svdm wSAL → 은 지금 안쓴다. / 엄청 느리다. 다 딥러닝 기반 user - item을 임베딩으로 나타낼 수 있겠구나!!

A. Experimental Set-Up

We use the MovieLens 100K dataset [16], widely used for evaluating recommender systems [15], [22], [13], [23]. This dataset consists of 943 users, 1,682 items, and 100,000 ratings. The ratings are integer values from 1 (i.e., worst) to 5 (i.e., best). The minimum number of ratings per user is 20.

→ A. 실험 설정

추천시스템 평가에 널리 사용되는 MovieLens 100K dataset을 활용한다.

이 데이터셋은 943명의 유저, 1,682개의 아이템, 100,000개의 평점으로 구성되어 있다.

평점은 1(worst)부터 5(best)까지의 정수 값이다.

유저 당 최소 평점 수는 20개이다.

💡

<데이터셋 설명> 데이터셋: MovieLens 100K → 유저: 943명 → 아이템: 1682개 → 평점: 10만개 → 셀 수: 1,586,126개 → 유저 당 최소 평점 수: 20개 → 즉, 각 유저 당 최소 20개의 평가를 남겼다.

For evaluating the accuracy of top-N recommendation, we vary the value of from 5 to 20 in an increment of 5 (default value = 5). Only the items with the rating score of 5 are considered as relevant, i.e., ground truth, as correctly predicting items with high ratings has more business ramifications (than predicting items with low ratings), as argued in [22].

→ top-N 추천의 정확도를 평가하기 위해, 우리는 N의 값을 5부터 20까지 5씩 증가시켜 변경한다(기본값 = 5).

평점 5를 받은 아이템들만이 관련성이 있다고, 즉, ground truth(기준 진실)로 간주된다. 왜냐하면 높은 평점을 받은 아이템들을 정확하게 예측하는 것이 낮은 평점을 받은 아이템들을 예측하는 것보다 더 많은 비즈니스 영향을 미치기 때문이다. ([22]에서 주장한 바와 같이).

💡

top-추천의 정확도 평가를 위해 → N을 5부터 시작해서 20까지 5씩 증가시키면서 평가한다. 평점 5를 받은 아이템들만 관련성이 있다고 간주된다. → ground-truth: 우리가 정한 정답 / 원하는 답으로 예측해 주길 바라는 답 → 높은 평점을 받은 아이템들을 정확하게 예측하는 것이 비지니스에 더 많은 영향을 미치기 떄문

We adopt four metrics to measure the accuracy such as precision, recall, normalized discounted cumulative gain (nDCG), and mean reciprocal rank (MRR). For a user , precision and recall can be computed by and , respectively, where denotes a set of items that each method recommends to , and denotes a set of items considered relevant (i.e., ground truth). We also use nDCG to reflect ranked positions of items in . Let represent a binary variable for the -th item in . If is set as 1. Otherwise, is set as 0. Then, is computed by , where , and means an ideal where is set as 1 for every item . MRR shows the average inversed rankings of every item . can be computed by . All measurements are averaged using 5-cross validation.

→ 정밀도(precision), 재현율(recall), 정규화된 할인 누적 이득(nDCG), 평균 상호 순위(MRR)와 같은 네 가지 지표를 사용하여 정확도를 측정한다.

유저 에 대해, 정밀도(precision) 과 재현율(recall) 은 각각 와 로 계산될 수 있다.

는 각 방법이 사용자 에게 추천하는 개 아이템의 집합을 나타내며, 는 관련성이 있는 것으로 간주되는 아이템들의 집합(즉, ground truth기준 진실)을 나타낸다. (즉 평점 5를 받은 아이템) 또한, 우리는 nDCG를 사용하여 의 아이템들의 순위 위치를 반영한다.

는 의 번째 아이템 에 대한 binary variable를 나타낸다.

만약 라면, 는 1로 설정된다. 그렇지 않으면, 는 0으로 설정된다.

그런 다음, 은 에 의해 계산된다.

여기서 이며, 은 모든 아이템 에 대해 가 1로 설정된 이상적인 을 의미한다.

MRR은 모든 아이템 의 평균 역순위를 나타낸다.

는 에 의해 계산될 수 있다.

모든 측정값은 5-cross validation의 평균 값이다.

💡

논문에서 사용하는 지표: (1) precision (2) recall (3) normalized discounted cumulative gain (nDCG) (4) mean reciprocal rank (MRR) precision: = →모델이 정답이라고 얘기한것 중 실제 정답: recall: = → 실제 정답 전체 중에서 맞춘 실제 정답: : 각 방법이 유저에게 추천하는 개 아이템의 집합 → 모델이 관련성있다고 예측한 집합(즉, 평점이 5라고 답한 집합) : 관련성이 있는 것으로 간주되는 아이템들의 집합(즉, ground truth 기준 진실 = 여기서 정답) → 모델에서 실제로 관련성 있다고 한 집합(평점: 5), ground truth를 둔 것 → 순위 제외 / 맞쳣냐 안맞쳤나 nDCG: 추천목록 내에서 각 아이템이 얼마나 높은 순위에 있는지를 반영하는 지표 MRR: 추천 목록에서 각 아이템의 평균 역순위를 나타내는 것을 설명 →추천 시스템이 얼마나 빠르게 관련성 있는 아이템을 사용자에게 제시하는지를 평가하는 지표 순위를 나타내는 것

To show the effectiveness of our approach, we first augment a rating matrix to a zero-injected matrix using our proposed method, and feed as input to existing methods such as an item-based () [19] and -based () [24], well known methods in memory-based and model-based approaches, respectively. Further, we use the and methods implemented in the open-source MyMediaLite [6] using their default parameter settings in our experiments. All datasets and codes that we used in experiments are available at: https://goo.gl/KUrmip.

→ 우리 접근법의 효과성을 보여주기 위해, 먼저 rating matrix 을 zero-injected matrix 로 확장시키고, 이를 item-based () [19] 및 -based () [24]와 같은 기존의 방법들에 입력으로 제공한다.

이는 각각 memory-based 및 model based aproach에서 잘 알려진 방법들이다.

또한, 우리는 실험에서 오픈 소스 MyMediaLite [6]에 구현된 및 방법들을 기본 parameter 설정을 사용하여 적용한다.

실험에 사용된 모든 데이터셋과 코드는 다음에서 이용할 수 있다: https://goo.gl/KUrmip

💡

실험에서 사용된 ICF 및 SVD 방법들이 오픈 소스 프레임워크인 MyMediaLite에서 구현된 것을 사용 기본 매개변수 설정을 사용

Our empirical study is to answer the following questions via comprehensive experiments.

Q1: Is the OCCF method (most) effective to infer users pre-use preferences?

Q2: Are users really not satisfied with uninteresting items that our approach determines?

Q3: How does the accuracy of our approach vary over different θ ? How sensitive is θ ?

Q4: How much does our approach improve existing CF methods with respect to accuracy? Is Hypothesis 1 valid (with respect to accuracy)?

Q5: How much time our approach spends compared to existing CF methods? Is Hypothesis 1 valid (with respect to running time)?

→ 우리의 경험적인 연구는 종합적인 실험을 통해 다음과 같은 질문들에 답하기 위한 것이다.

Q1: method가 유저의 pre-use preference를 추론하는데 가장 효과적인가?

Q2: 유저들은 우리의 접근법이 결정하는 uninteresting 아이템들에 만족하지 않는가?

Q3: 우리 접근법의 정확도는 변화하는 값에 따라 어떻게 달라지나?

는 얼마나 민감한가?

Q4: 우리의 접근법이 기존 방법들의 정확도를 얼마나 향상시키나?

가설 1(비어있는 셀을 채우면 성능 향상)이 정확도 측면에서 유효한가?

Q5: 우리의 접근법이 기존 CF 방법들에 비해 얼마나 시간을 소비하나?

가설 1(비어있는 셀을 채우면 성능 향상)이 실행 시간 측면에서 유효한가?

💡

B. Q1: Inference of Pre-Use Preferences

As the gist of our approach to identify uninteresting items depends on the effectiveness of the method to infer users' pre-use preferences, first, we test how effective the method is, against four other candidates (): user-oriented method (), binary item-based method (), item-based method (), and random method ().

borrows the idea from the user-oriented scheme that determines the weights in the method (mentioned in Section III-A). determines user's pre-use preference scores to be inversely proportional to the number of her rated items. BIM uses the “observed” (binary) pre-use preference matrix (introduced in Section III-A) and infers the pre-use preference scores exploiting the item-based [19]. is identical to the original item-based , which produces pre-use preference scores based on the original rating matrix .

is a baseline that does not infer pre-use preference scores but randomly selects uninteresting items among unrated items. We also employ the same parameter settings as in [15] for wALS in the method.

→ B. Q1: pre-use preference 추론

uninteresting item을 식별하기 위한 접근법의 요점(핵심)은

유저의 pre-use preference를 추론하는 method의 효과성에 달려있기 때문에,

먼저 네 가지 다른 후보들():

(1) user-oriented method ()

(2) binary item-based method ()

(3) item-based method ()

(4) random method ()

에 비해 method가 얼마나 효과있는지를 테스트 한다.

(1) 은

method에서 weight를 결정하는 user-oriented scheme에서 아이디어를 차용한다(Section III-A에서 언급됨).

은 유저의 pre-use preference score를 평가한 아이템 수에 반비례하게 결정한다.( method는 비례)

(2) 은

'관찰된' (binary) pre-use preference matrix (Section III-A에서 소개됨)를 사용하고 [19]를 활용하여 pre-use preference score를 추론한다.

(→ pre-use preference matrix : rating 이 있는 셀을 1로 설정한, 나머지는 빈 셀)

(3) 은

original Item-based (와 동일하며,

original rating matrix 에 기반하여 pre-use preference 점수를 생성한다.

(4) 은

pre-use preference 점수를 추론하지 않고

무작위로 unrated 아이템 중에서 uninteresting 아이템들을 선택하는 baseline이다.

method에서 wALS을 위해 사용된 동일한 parameter 설정을 사용한다.

💡

uninteresting 아이템을 식별하는 접근법이 OCCF method의 pre-use preference 추론 능력에 의존한다 다른 방법들과 비교하여 OCCF method의 효과성을 검증한다 : 유저가 평가한 아이템의 수에 따라 pre-use preference 점수를 결정하는 방식을 사용(user-oriented schem과 유사??) : 관찰된 binary pre-use preference matrix를 사용하여 를 통해 pre-use preference 점수를 추론한다. : 기존 Item-based method을 사용하여 rating matrix 에서 pre-use preference 점수를 생성한다. : 기준선으로 사용되며, 무작위적으로 uninteresting 아이템을 선택하는 방식을 사용한다. 방법에 사용된 wALS에 동일한 파라미터 설정을 적용

As the accuracy measure for , we especially define an error rate, which captures how many rated items are selected as uninteresting items (i.e., mis-classified) for each user by an inference method. The idea behind this notion is that as user's pre-use preferences should have been relatively high for her rated items, an inference method that does a less number of mis-classification is deemed as a better solution. A user 's error rate is defined as: , where is a set of items rated by in a test set, and is a set of items determined as uninteresting (i.e., ranked in the bottom θ % according to the inferred pre-use preference scores) by the particular inference method.

The lower a user's error rate gets, the better an inference method is.

→ 의 정확도 측정을 위해, 특히 오류율을 정의한다.

이는 추론 방법에 의해 각 사용자에 대한 rated item들 중 얼마나 많은 아이템이 uninteresting 아이템(즉, 잘못 분류된)으로 선택되는지를 잡는다.

이 아이디어의 개념은 유저의 pre-use preference가 rated item(==post-use preference)에 비해 상대적으로 높아야 한다는 것이며, 잘못 분류를 더 적게 하는 추론 방법이 더 나은 해결책으로 간주된다.

유저 의 오류율은 다음과 같이 정의된다:

여기서 는 테스트 세트에서 에 의해 평가된 rated item들의 집합이고, 는 특정 추론 method에 의해 uninteresting으로 결정된 아이템들의 집합이다(즉, 추론된 pre-use preference 점수에 따라 하위 θ %에 순위가 매겨진다).

유저의 에러율이 낮을수록, 더 좋은 추론 method이다.

💡

오류율(error rate): 얼마나 많은 rated item을 uninteresting 아이템으로 잘못 분류했는지 : 테스트 세트에서 에 의해 평가된 rated item들의 집합 → rated item 이므로 pre-use preference는 높을 것, 즉, interesting item : 특정 추론 method에 의해 uninteresting으로 결정된 아이템들의 집합 오류율이 낮은 추론 방법이 유저의 pre-use preference 를 더 정확하게 파악 즉, 추론 방법이 사용자가 실제로 interesting 아이템을 정확히 예측하고, uninteresting 아이템을 효과적으로 제거

Figure 6 shows the changes of error rates of five inference methods, averaged over all users with varying . In general, as increases, error rates of five methods increase as well. In particular, the error rates of , , and increase more rapidly than those of the method and . The method and have relatively small error rates until reaches to 90%, implying that their accuracy is fairly good when is smaller than 90%. Above 90%, their error rates grow rapidly. This is because at this point there are only a relatively small number of unrated items left among which a substantial amount of interesting items exist. Among five methods, the method shows the best error rates, regardless of . Therefore, we conclude that it is the most effective in correctly inferring pre-use preferences.

Fig. 6. Error rate comparison of five inference methods.

실험의 목적

축 설명

→ Figure 6은 다양한 에 대해 모든 유저들의 평균으로 계산된 다섯 가지 추론 방법의 오류율 변화를 보여준다.

일반적으로 가 증가함에 따라, 다섯 가지 방법의 오류율도 증가한다.

특히, , , 의 오류율이 method와 의 오류율보다 더 빠르게 증가한다.

method와 은 가 90%에 도달할 때까지 상대적으로 낮은 오류율을 가지며, 이는 가 90%보다 작을 때 정확도가 꽤 좋다는 것을 의미한다.

90% 이상에서, 그들의 오류율은 빠르게 증가한다. 이는 이 시점에서 상대적으로 적은 수의 unrated 아이템들만 남아있는데 이 중 상당한 양의 interesting 아이템들이 존재하기 때문이다.

다섯 가지 방법 중에서, method는 에 상관없이 가장 낮은 오류율을 보여준다. 따라서, 우리는 이 방법이 pre-use preference를 정확하게 추론하는 데 가장 효과적이라는 결론을 내린다.

💡

⬆️ → error rate ⬆️ → 이 증가함에 따라 더 많은 아이템을 잘못 분류할 가능성이 올라간다. , , 의 오류율이 method와 의 오류율보다 더 빠르게 증가한다. → OCCF와 BIM이 더 정확한 추론을 제공한다???

So far, we validate that pre-use preferences inferred by the method are most accurate. Next, we examine if pre-use preferences inferred by the method indeed yield the best accuracy when used in real methods, i.e., the end-to-end performance. We build the zero-injected matrix using pre-use preferences inferred by five inference methods, and apply to two methods—the item-based () and -based (). In this experiment, we vary as 30%, 60%, and 90%. As all accuracy metrics of Section IV-A show similar tendencies, we only report the results for here (More detailed analysis on the effect of will be given in Section IV-D).

→ 지금까지 우리는 방법에 의해 추론된 pre-use preference가 가장 정확하다는 것을 검증했다.

다음으로, 방법에 의해 추론된 pre-use preference가 실제 방법에서 사용될 때 가장 좋은 정확도를 제공하는지, 즉, 최종 성능을 검사한다.

우리는 다섯 가지 추론 방법에 의해 추론된 pre-use preference를 사용하여 zero-injected matrix 를 구축하고, 이를 두 가지 method인 item-based ()와 기반 ()에 적용한다.

이 실험에서, 우리는 를 30%, 60%, 그리고 90%로 바꾼다.

IV-A 섹션의 모든 정확도 지표들이 유사한 경향을 보이기 때문에, 여기서는 에 대한 결과만 다룬(report)다(의 효과에 대한 더 자세한 분석은 IV-D 섹션에서 제공될 것이다).

💡

Table II shows the precision@5 scores of and using a zero-injected matrix, inferred by five different inference methods. Similar to Figure 6, the method shows the best accuracy in all cases (19%–26% higher than , the second best one) while shows the worst accuracy (even lower than ). Therefore, as the answer to , we conclude that the method is the most effective for inferring pre-use preferences, and, in subsequent evaluation, employ only the method for inferring pre-use preferences.

→ Table II는 다섯 가지 다른 추론 방법에 의해 추론된 zero-injected matrix를 사용하는 와 의 precision@5(유사하다고 판단한것들 중 진짜 유사한 것? == 평점 5라고 판단한것들 중 진짜 평것) 점수를 보여준다.

Figure 6과 유사하게, method는 모든 경우에서 가장 좋은 정확도를 보여준다(두 번째로 좋은 보다 19%–26% 더 높음???) 반면 은 가장 낮은 정확도를 보여준다(보다도 낮음).

따라서 에 대한 답으로, 우리는 방법이 pre-use preference를 추론하는 데 가장 효과적이라는 결론을 내리며, 후속 평가에서는 pre-use preference를 추론하기 위해 오직 방법만을 사용한다.

💡

와 방법을 사용하여 계산된 precision@5 점수가 다섯 가지 추론 방법에 따라 어떻게 달라지는지

Table II. Accuracy (i.e., ) of methods equipped with our approach with five inference methods.

C. Q2: User's Satisfaction on Uninteresting Items

One of main assumptions of our proposal is that a user would not be satisfied with her uninteresting items. If our assumption does hold in practice, then a user is unlikely to purchase or use the uninteresting items recommended to her, and even if she does, she is more likely to assign low ratings to these items. To validate this assumption, we examine whether users are going to be satisfied with items in proportion to their pre-use preference scores. Recall that an item is likely to be selected as uninteresting if its pre-use preference score is relatively low.

→ C. Q2: 유저의 uninteresting 아이템에 대한 만족도

제안하는 방법의 주요 가정 중 하나는 유저가 uninteresting 아이템에 만족하지 않을 것이라는 것이다. (= 구매도 안할 것이고, 만약 구매하더라도, 낮은 rating을 부여할 것이다)

만약 우리의 가정이 실제로 유효하다면, 유저는 자신에게 추천된 uninteresting 아이템을 구매하거나 사용할 가능성이 낮으며, 만약 구매 or 사용 하더라도, 아이템에 낮은 평점을 할당할 가능성이 더 높다

이 가정을 검증하기 위해, 유저들이 그들의 pre-use preference에 비례하여 아이템들에 만족할지 여부를 조사한다.

만약 pre-use preference가 상대적으로 낮다면, uninteresting 아이템으로 선택될 가능성이 높다는 것을 알고 있어라(recall),

💡

First, we observe what portion of items are rated according their pre-use preference scores. For this observation, we first hide some ratings (i.e., a test set), and compute the pre-use preference scores for all unrated user-item pairs by using the remaining ratings (i.e., a training set). Next, we divide the unrated user-item pairs into 100 bins according to their percentile rank of pre-use preference scores. We calculate the error rates for the -th subset, , instead of to show the ratio of those user-item pairs that are really rated in the test set. includes 's unrated items whose rank is between and (i.e., ).

→ 먼저, 아이템들이 얼마나 pre-use preference 점수에 따라 평가되는지 관찰한다.

관찰을 위해 우리는 일부 rating을 숨기고 (test set), 남아있는 rating(training set)를 사용하여 모든 unrated user-item 쌍에 대한 pre-use preference 점수를 계산한다.

다음으로, 우리는 pre-use preference 점수의 백분위 순위 에 따라 unrated user-item 쌍을 100개의 구간으로 나눈다.

대신 -th 하위 집합, 의 오류율을 계산하여 테스트 세트에서 실제로 평가된 user-item 쌍의 비율을 보여준다.

는 순위가 와 사이인 의 unrated 아이템을 포함한다 (즉, 모든 에 대해 ).

💡

Fig. 7. Users' error rates according to items' pre-use preference scores.

Figure 7 depicts the distribution of error rates over . As increases, the error rate increases rapidly. Moreover, the test set verifies that users have evaluated only a few items whose ρ is low. For example, among all the rated items, 90% items (resp. 95% items) have ρ higher than 74% (resp. 79%) (marked in Figure 7). This result indicates that users hardly ever use the items whose pre-use preference scores are not high, thereby supporting out assumption.

이 부분 이해가 잘 안됨

→ 그림 7은 에 대한 오류율의 분포를 나타낸다

가 증가함에 따라, 오류율이 빠르게 증가한다

또한, 테스트 세트는 사용자들이 (pre-use preference)가 낮은 아이템들 중 몇 개만 평가했음을 확인한다.

예를 들어, 모든 rated item(평가된 아이템)들 중에서, 90%의 아이템들(각각 95%의 아이템들)은 가 74%(각각 79%) 이상이다(그림 7에 표시됨).

이 결과는 사용자들이 pre-use preference 점수가 높지 않은 아이템들을 거의 사용하지 않는다는 것을 나타내며, 이는 우리의 가정을 뒷받침한다.

💡

ρ 값에 따른 오류율 분포를 보여주는 그림에 대해 설명합니다. 여기서 ρ는 아이템의 사전 사용 선호도 점수를 나타 ρ 값이 증가함에 따라 오류율이 급격하게 증가한다는 경향을 나타냅니다. 이는 높은 사전 사용 선호도 점수를 가진 아이템들이 잘못 추론될 가능성이 더 높음을 의미 사용자들이 낮은 pre-use preference 점수를 가진 아이템들을 거의 평가하지 않았다는 것

Next, we investigate users' given rating scores according to their pre-use preference scores. For this analysis, we build training and test sets, and make the OCCF method infer pre-use preferences for unrated user-item pairs by using the training set. After that, we divide those user-item pairs into 10 bins according to their percentile rank ρ of pre-use preference scores. By referring to the test set, we compare the number of items rated as 1 or 2 and that of items rated as 4 or 5 in each bin. For a fair comparison, we need to note two important observations: users leave 4 or 5 ratings (i.e., 55% of all ratings) much more often than 1 or 2 ratings (i.e., 17% of all ratings) in the MovieLens dataset; In addition, the numbers of “rated” items in the test set differ significantly depending on the bins.

→ 다음으로, 유저들이 주는 평점을 그들의 pre-use preference 점수에 따라 조사한다. 이 분석을 위해, 우리는 학습 세트와 테스트 세트를 구축하고, 방법을 사용하여 학습 세트를 사용해 unrated user-item 쌍에 대한 pre-use preference 를 추론한다.

그 후, 그 user-item 쌍을 pre-use preference 점수의 백분위 순위 에 따라 10개의 구간으로 나눈다.

테스트 세트를 참조하여, 각 구간에서 1 또는 2로 평가된 아이템의 수와 4 또는 5로 평가된 아이템의 수를 비교한다.

공정한 비교를 위해, 두 가지 중요한 관찰을 주목해야 한다:

MovieLens 데이터셋에서 유저들은 1 또는 2의 평점(즉, 모든 평점의 17%)보다는 4 또는 5의 평점(즉, 모든 평점의 55%)을 훨씬 더 자주 남긴다; 또한, 테스트 세트에서 "rated" 아이템의 수는 구간에 따라 크게 다르다.

💡

For example, 0.1% of user-item pairs have ratings in the first bin while 86.8% of pairs does in the 9-th bin. Considering these inequalities, we compute the relative ratio of items rated as 1 or 2 (resp. 4 or 5) for each bin as follows:

(8)

where is a set of items evaluated by a user in the test set, and indicates a set of items rated as in . indicates a set of items rated by among all items (i.e., the test as well as the training set). presents a set of items rated as s in . The fraction before the division sign in Eq. ８ means the ratio of items rated as to all rated items in a bin. In addition, the fraction after the division sign in Eq. ８ (i.e., the ratio of items rated as to the whole rated items) is necessary for normalization. A higher relative ratio indicates that more items rated as exist in a bin.

→ 예를 들어,

1 번째 구간에서 user-item 쌍의 0.1%가 평점을 받았고,

9 번째 구간에서는 86.8%가 평점을 받았다.

이러한 불균형을 고려하여, 각 구간에서 1 또는 2로 평가된 아이템 (또는 4 또는 5로 평가된 아이템)의 상대 비율을 다음과 같이 계산한다:

(8)

는 테스트 세트에서 사용자 가 평가한 아이템의 집합이고,

는 에서 로 평가된 아이템의 집합을 나타낸다.

는 모든 아이템 중 사용자 가 평가한 아이템의 집합을 나타낸다 (테스트 세트와 학습 세트 모두).

는 에서 로 평가된 아이템의 집합을 나타낸다.

수식 8의 나눗셈 기호 전의 분수는 구간 내에서 로 평가된 아이템의 비율을 의미한다.

수식 8의 나눗셈 기호 후의 분수 (전체 rated 아이템 중 로 평가된 아이템의 비율)는 정규화를 위해 필요하다.

상대 비율이 높을수록 구간에 로 평가된 아이템이 더 많이 존재한다.

💡

이 공식은 각 구간에서 특정 평점이 부여된 아이템의 상대적 비율을 계산하여, 사용 전 선호도 점수와 실제 사용자 평점 사이의 관계를 조사하는 데 사용됩니다. 이를 통해, 사용 전 선호도 점수가 실제 사용자 평점을 얼마나 잘 예측하는지를 평가하고 개선할 수 있습니다. : 테스트 세트에서 사용자 가 평가한 아이템의 집합 : 에서 로 평가된 아이템의 집합 : 모든 아이템 중 사용자 가 평가한 아이템의 집합 : 에서 로 평가된 아이템의 집합

Fig. 8. Distribution of users' pre-use preference scores for rated items.

Figure 8 shows the distribution of relative ratios. When ρ is smaller than 0.3, the relative ratio of items rated as 1 or 2 stagnates as ρ gets higher. This is because there are only a few rated items whose ρ is less than 0.3. When ρ is higher than 0.3, the relative ratio of items rated as 1 or 2 decreases as ρ gets higher. When ρ is smaller than 0.9, the relative ratio of items rated as 4 or 5 is smaller than 1. Only when ρ is in the range of 0.9 and 1, the relative ratio is higher than 1. In short, the items whose ρ is smaller than 0.9 are likely to be rated as 1 or 2 rather than 4 or 5. On the other hand, the items whose ρ is higher than 0.9 are more likely to be rated as 4 or 5. Therefore, we know that users are less likely to be satisfied with the items whose ρ is less than 0.9.

→ Figure 8은 상대적 비율의 분포를 보여준다.

ρ가 0.3보다 작을 때, 평점이 1 또는 2로 평가된 아이템들의 상대적 비율은 ρ가 높아짐에 따라 정체된다.

이는 ρ가 0.3보다 작은 평가된 아이템들이 매우 적기 때문이다.

ρ가 0.3보다 높을 때, 평점이 1 또는 2로 평가된 아이템들의 상대적 비율은 ρ가 높아짐에 따라 감소한다.

ρ가 0.9보다 작을 때, 평점이 4 또는 5로 평가된 아이템들의 상대적 비율은 1보다 작다. 오직 ρ가 0.9와 1 사이의 범위에 있을 때, 상대적 비율은 1보다 높다.

요약하자면, ρ가 0.9보다 작은 아이템들은 4 또는 5보다는 1 또는 2로 평가될 가능성이 더 높다.

반면에, ρ가 0.9보다 높은 아이템들은 4 또는 5로 평가될 가능성이 더 높다.

따라서, 우리는 사용자들이 ρ가 0.9보다 작은 아이템들에 만족할 가능성이 적다는 것을 알 수 있다.

💡

ρ가 낮은 경우(0.3 이하), 낮은 평점(1 또는 2)을 받은 아이템의 상대적 비율이 ρ의 증가와 상관없이 일정하게 유지된다는 것을 설명합니다. 이는 ρ가 낮은 아이템이 사용자에게 덜 만족스럽게 평가될 가능성이 높음을 시사 ρ 값이 낮은 아이템들이 전체 평가된 아이템 중에서 상대적으로 적은 비율을 차지한다는 것을 나타냅니다. 이러한 아이템들은 사용자에게 매력적이지 않을 가능성이 높다 ρ 값이 0.3을 초과할 때, 낮은 평점을 받은 아이템의 비율이 ρ의 증가에 따라 감소한다는 것을 나타냅니다. 이는 ρ가 높은 아이템이 사용자에게 더 만족스러울 가능성이 높음을 의미 ρ가 0.9보다 작을 때, 평점이 4 또는 5로 평가된 아이템들의 상대적 비율은 1보다 작습니다. 오직 ρ가 0.9와 1 사이의 범위에 있을 때, 상대적 비율은 1보다 높습니다. ρ가 높은 아이템은 사용자에게 더 만족스러우며, ρ가 낮은 아이템은 그렇지 않을 가능성이 높다. ρ 값이 낮은 아이템들이 사용자의 만족도를 충족시키지 못할 가능성이 높다는 것을 확인

Based on the results of two experiments above, as the answer to , we conclude that users are rarely satisfied with the items whose pre-use preferences are not high. In addition, we found that users tend to be unsatisfied with most of items in (e.g., 90%), suggesting that there are many items uninteresting to a user.

→ 위의 두 실험 결과를 바탕으로, 의 답으로서, 우리는 사용자들이 pre-use preference가 높지 않은 아이템에 대해 드물게 만족한다는 결론을 내린다.

또한, 우리는 유저들이 의 대부분의 아이템에 대해 불만족하는 경향이 있다는 것을 발견했다 (예를 들어, 90%), 이는 사용자에게 uninteresting 아이템이 많다는 것을 의미한다.

💡

이러한 결과는 추천 시스템이 사용자의 선호도를 정확하게 반영하려면 pre-use preference 가 높은 아이템을 선별하는 것이 중요하다는 것을 보여준다.

Evaluation: D. Q3: Effect of Parameter ~ Conclusion

D. Q3: Effect of Parameter θ

As the parameter θ controls the amount of values imputated with zero-injection, it greatly affects the accuracy in recommendation. To verify the effect of θ, therefore, we conduct the sensitivity test. We first build different zero-injected matrices with varying θ and apply them to two CF methods, ICF [19] and SVD [24].

→ D. Q3: parameter θ의 효과

paramter θ는 zero-injection 을 통해 할당되는 값의 양을 통제하기 때문에, 추천 시스템의 정확도에 큰 영향을 준다.

θ의 효과를 확인하기 위해, 우리는 민감도 테스트를 진행한다.

먼저, 다양한 θ 값으로 여러 zero-injected matrix를 만들고, 이를 ICF [19]와 SVD [24]에 적용한다.

💡

θ가 zero-injection 을 통해 삽입되는 0 값의 양을 제어 → 즉, θ의 값에 따라 uninteresting 아이템의 수가 달라짐 → θ이 추천 시스템의 성능에 어떤 영향을 미치는지를 평가하기 위한 민감도 테스트 수행 다양한 θ 값에 따라 생성된 여러 zero-injected matrix 를 와 에 적용

Fig. 9. Accuracy of ICF and SVD equipped with our proposed approach with varying parameter θ.

신입생 세미나 때 메우 중요하게 설명해야할 것 메시지를

Figure 9 shows the accuracy of top-N(N=5) recommendation with and with varying θ. We increase θ in an increment of 10% for the range of 10-90%, while increase θ in an increment of 1% for two extreme ranges, 0-10% and 90-99.7%. Note that we do not report the result with because methods with our approach recommend nothing in this case. For this reason, we set θ up to 99.7% in order to leave only 5 items whose pre-use preference scores are the highest for each user. In this case, these 5 remaining items are thus all recommended (as top-5) to each user without requiring further CF methods. In summary, the result with θ=0% indicates the accuracy of original ICF and SVD methods without using our approach, while the result with θ=99.7% indicates the accuracy of the OCCF method without using ICF or SVD.

→ Figure 9는 다양한 θ 값에 따른 및 를 이용한 top-N(N=5) 추천의 정확도를 나타낸다.

10-90% 범위에 대해 θ를 10%씩 증가시키고, 반면에 두 extreme range인 0-10% 및 90-99.7%에 대해 1%씩 증가시킨다.

인 경우에는 기록하지 않는다, 왜냐하면 이 접근법을 활용한 method는 아무것도 추천하지 않기 때문이다. (→ θ가 100%인 경우에는 모든 아이템이 uninteresting 으로 간주되어 추천될 아이템이 없기 때문)

이러한 이유로, 우리는 각 user에 대해 pre-use preference가 가장 높은 5개의 아이템만 남기기 위해 θ를 최대 99.7%로 설정한다.

이 경우, 그러므로 남은 5개의 아이템은 추가적인 method 없이 각 user에게 모두 추천된다(상위 5개로).

요약하자면, θ=0%의 결과는 우리의 접근법을 사용하지 않은 원래의 및 method의 정확도를 나타내며, θ=99.7%의 결과는 나 를 사용하지 않은 방법의 정확도를 나타낸다.

💡

Figure 9: θ 값이 변함에 따라 및 추천 시스템의 top-5 추천 정확도가 어떻게 달라지는지 보여주는 그래프 : 설정 → 10% ~ 90% 범위, 10%씩 증가 → 양쪽 끝 extreme range는 1%씩 증가 1) 더 낮은 값(0-10%) 2) 높은 값(90-99.7%) θ가 100%인 경우에는 다루지 않음. → 모든 아이템이 uninteresting 으로 간주되어 추천될 아이템이 없기 때문 즉, θ를 최대 99.7%로 설정 → 각 유저에게 가장 높은 pre-use preference를 가진 상위 5개의 아이템만 남김 → 이경우에는 method 없이 각 사용자에게 자동으로 top-5 추천 제공 가능 θ=0%: 기존 CF method(rated matrix 만 사용한)의 정확도를 나타냄 θ=99.7%: method만을 사용한 경우의 정확도를 나타냄 → 나 를 사용하지 않은 정확도 → 왜냐하면 남은 것들을 그냥 top-5로 추천해주기 떄문

In Figure 9, we observe that the results of precision, recall, nDCG, and MRR show similar patterns. All these accuracy values of methods increase as increases up to around 95%. Moreover, accuracies in general grow rapidly until θ reaches 10%. All results clearly show that our idea of using zero-injection dramatically improves the accuracy of two original methods. using our approach with θ=96% shows the best precision, 5.2 times higher than without our approach. When θ=95%, similarly, our approach improves the precision of SVD by 3.4 times.

→ Figure 9에서 우리는 precision, recall, nDCG, MRR의 결과가 비슷한 패턴을 보이는 것을 확인할 수 있다.

모든 정확도 값은 θ가 약 95%까지 증가함에 따라 method도 값이 증가한다.

게다가, 일반적으로 정확도는 θ가 10%에 도달할 때까지 빠르게 증가한다.

모든 결과는 zero-injection을 사용하는 우리의 아이디어가 두 가지 original method(, )의 정확도를 드라마틱하게 개선시킨다는 것을 분명하게 나타낸다.

우리의 접근법을 사용하는 는 θ=96%에서 the best precision을 보여주며, 없을 때의 보다 5.2배 높다.

비슷하게 θ=95%일 때, 우리의 접근법은 의 precision을 3.4배 향상시킨다.

💡

Figure 9를 보면 (1) preicision (2) recall (3) nDGCG (4) MRR의 결과 모두 비슷한 패턴을 보임 → 즉, 세타가 95%까지 증가함에 따라 4개의 결과가 다 증가함 → 특히, 0 ~ 10%까지 증가할 때 빠르게 증가함 → 왜?? pre-use preference가 아주 낮은(즉, 극히 uninteresting item들을 지우기 때문이다. (개인적인 생각으로는, 10% 세타 내에 있는 아이템들은 pre-use preference가 공통된 uninteresting 아이템들을 추천에서 제외하므로??) —> zero-injection을 사용하는 것이 방법의 정확도를 향상시키는 데 효과적임 <best precision> 는 θ=96%에서 5.2배 높음 using augmentated matrix > original rating matrix 는 θ=95%에서 3.4배 높음 using augmentated matrix > original rating matrix

As mentioned earlier, the OCCF method can be used to produce top-N recommendation without using ICF and SVD (i.e., θ=99.7%). The method, however, shows accuracy much lower than and equipped with our approach. This implies that the method is quite effective in finding uninteresting items. However, it is not that effective in recommending the final items because it ignores rating scores.

→ 앞서 언급했듯이, method는 와 를 사용하지 않고 top-N개의 추천을 생성할 수 있다 (θ=99.7%일 때).

그러나 이 방법(θ=99.7%일 때)은 우리의 접근법을 갖춘 와 보다 훨씬 낮은 정확도를 보인다.

이는 method는 uninteresting 아이템을 찾는 데는 매우 효과적이라는 것을 함축한다. 하지만 rating score를 무시하기 때문에 최종 아이템을 추천하는 데는 그렇게 효과적이지 않다는 것을 의미한다.

💡

θ=99.7%일 때 method는 와 를 사용하지 않고 top-N개의 추천을 생성할 수 있음 → But, augmented matrix 를 활용해 method에 넣은 것보다 성능이 매우 낮다 → method는 uninteresting 아이템을 찾는 데는 매우 효과적이라는 것을 함축(즉, interesting item을 찾는데 효과적 X???) → rating score(0으로 채운 값이 아닌 original rated score?)를 무시하기 때문

The accuracy changes greatly when θ is less than 10% or more than 90% while it changes little when θ is between 10% and 90%. We can interpret this phenomenon as follows: (1) as θ increases up to 10%, more user-item pairs (i.e., highly likely to be uninteresting) are filled with zeros (giving accurate and useful information to methods) and are also correctly excluded from top- recommendation. (2) When θ ranges between 10% and 90%, accuracy changes little because filling unrated user-item pairs in the case of (1) has already alleviated most of the data sparsity problem. Filling more zero ratings no longer gives useful information to methods although user-item pairs whose θ is between 10% and 90% are highly likely to be uninteresting (See Section IV-C). (3) When θ is larger than 90%, the accuracy decreases significantly. As θ reaches 99.7%, more user-item pairs having high pre-use preferences (i.e., could be interesting to users) are incorrectly filled with zeros (giving inaccurate and less useful information to CF methods) and could be incorrectly excluded from top-N recommendation.

→ 정확도는

θ가 10% 미만이거나 90% 초과일 때 크게 변하고,

θ가 10%와 90% 사이일 때는 거의 변하지 않는다.

이 현상은 다음과 같이 해석할 수 있다:

(1) θ가 10%까지 증가하면, 더 많은 user-item 쌍 (uninteresting item일 가능성이 높음)이 평가 0으로 채워지며 ( method에게 정확하고 유용한 정보를 제공) top-개의 추천에서도 정확하게 제외된다.

(2) θ가 10%에서 90% 사이일 때, 정확도는 거의 변하지 않는다. (1)에서 unrated user-item 쌍을 채움으로써 이미 dat sparsity problem의 대부분을 완화했기 때문이다.

더 많은 0 평점을 채워도, method에게 유용한 정보를 더 이상 제공하지 않는다. 심지어 θ가 10%와 90% 사이인 user-item 쌍이 uninteresting일 가능성이 높음에도 불구하고 method에게 유용한 정보를 더 이상 제공하지 않는다(섹션 IV-C 참조).

(3) θ가 90%보다 크면, 정확도는 크게 감소한다.

θ가 99.7%에 도달하면, 높은 pre-use preference를 가진 더 많은 use-item 쌍 (interesting items)이 잘못 0으로 채워지며 ( method에게 부정확하고 덜 유용한 정보를 제공) top-N개의 추천에서 부정확하게 제외될 수 있다.

💡

이 해석은 추천 시스템에서 사용자의 선호도를 더 정확하게 예측하고 그에 따라 더 적합한 아이템을 추천하기 위해 데이터 희소성 문제를 해결하는 방법의 중요성을 보여준다. 이는 사용자의 만족도를 높이고, 추천 시스템의 효율성과 정확성을 향상시키는 데 도움이 될 수 있다.

<Accuracy>

θ가 10% 미만이거나 90% 초과일 때 크게 변하고

θ가 10%와 90% 사이일 때는 거의 변하지 않는다.

(1) θ가 10%까지 증가하면

Accuacy는 크게 증가. uninteresting item일 가능성이 높은 item들이 0으로 rating되어 채워짐

→ top-N에서 uninteresting 제외되고, method에게 유용한 정보 제공

(2) θ가 10%에서 90% 사이일 때

Accuracy는 거의 변하지 않음. (1)에서 unrated user-item 쌍을 채움으로써 이미 대부분의 data sparsity problem를 완화했기 때문?? θ가 10%와 90% 사이인 user-item 쌍이 uninteresting일 가능성이 높음에도 불구하고 method에게 유용한 정보를 더 이상 제공 X

(3) θ가 90%보다 크면,

Accuacy는 크게 감소. θ가 99.7%에 도달하면, 높은 pre-use preference를 가진, 즉, 많은 interesting item이 0으로 잘못 채워지며 → method에게 부정확하고 유용하지 않은 정보를 제공 → top-N에서 interesting이 제외됨

Fig. 10. Accuracy of SVD with five uninteresting item sets defined by percentile rank ρ. → 백분위 순위 p로 정의된 5개 구간으로 분할한 uninteresting item 집합 SVD의 accuracy → 그림?? 100? → 모르겠습니다.

To understand this phenomenon more clearly, we define five sets of uninteresting items according to the percentile rank ρ of pre-use preference scores. Figure 10 shows the accuracy of SVD with the five sets of uninteresting items including those items whose ρ is 0–20, 20–40, 40–60, 60–80, and 80-99.7%, respectively. In the results, all accuracy metrics show similar tendencies. The four results of 0–20, 20–40, 40–60, 60-80% produce good accuracies, while that of 80-99.7% shows significantly worse accuracies. This implies that, among the items whose ρ is 0–80%, there are only a few interesting items (errors) as we explained above. However, among the items whose ρ is 80–99.7%, there are many interesting items. This phenomenon is also observed in Section IV-C.

→ 이 현상을 더 확실하게 이해하기 위해, 우리는 pre-use preference score의 백분위 순위 에 따라 uninteresting 아이템의 다섯 가지 집합을 정의한다.

Figure 10은 (pre-use preference score의 백분위 순위)가 각각 0-20, 20-40, 40-60, 60-80, 80-99.7%인 아이템을 포함하는 다섯 가지 uninteresting 아이템 집합을 가진 의 정확도를 나타낸다.

결과에서, 모든 accuracy metric은 비슷한 경향을 나타낸다.

0-20, 20-40, 40-60, 60-80%의 네 가지 결과는 좋은 정확도를 보인다, 반면에 80-99.7%의 결과는 상당히 나쁜 정확도를 보인다.

이는 ρ가 0-80%인 아이템 중에서는 위에서 설명한 것처럼 interesting 아이템 (error)이 거의 없다는 것을 의미한다.

그러나, 가 80-99.7%인 아이템 중에는 많은 interesting 아이템이 있다.

이 현상은 섹션 IV-C에서도 관찰되었다.

💡

0-20, 20-40, 40-60, 60-80%의 네 가지 결과는 좋은 정확도를 보인다, 반면에 80-99.7%의 결과는 상당히 나쁜 정확도를 보인다.

→ ρ가 0-80%인 아이템 중에서는 위에서 설명한 것처럼 interesting 아이템 (error)이 거의 없다는 것을 의미한다.

As to Q3, finally, we conclude that accuracies increase greatly when θ is less than 10% while it decreases significantly when θ is more than 90%. In addition, accuracies remain quite high and changes little for a large interval of 10%≤θ≤ 95%, indicating that we can obtain a high accuracy even if we arbitrarily set θ within that interval, making our approach parameter-insensitive (with respect to θ).

→ 마지막으로 Q3에 관하여,

θ가 10% 미만일 때 정확도가 크게 증가하는 반면,

θ가 90%를 초과할 때는 정확도가 상당히 감소한다는 결론을 짓는다.

추가적으로, 10%≤θ≤95%의 넓은 범위에서 정확도는 상당히 높게 유지되며 거의 변화가 없음을 보여주는데, 이는 해당 구간 내에서 θ를 임의로(랜덤?) 설정하더라도 높은 정확도를 얻을 수 있음을 나타낸다.

이러한 결과는 우리의 접근 방식이 parameter θ에 민감하지 않다.

💡

θ 값을 세밀하게 조정할 필요가 없다는 것을 의미 θ 값이 비교적 낮은 범위(10% 미만) → 정확도 크게 향상 θ 값이 높은 범위(90% 이상) → 정확도 감소 → uninteresting 아이템을 너무 많이 제외할 경우 → 유저 경험에 부정적인 영향을 미칠 수 있음을 나타냄 θ 값이 중간 범위(10%에서 95% 사이) → 정확도가 높게 유지 → 이 사이에서는 θ를 랜덤으로설정하더라도 높은 정확도를 얻을 수 있음 그러므로, uninteresting item을 식별하는 parameterθ 에 민감하지 않다.

E. Q4: Accuracy of CF Methods with Our Approach

We apply our approach to four existing CF methods (i.e., ICF [19], SVD [24], SVD++ [2], [10], and pureSVD [4]), and validate its effectiveness in improving accuracy. SVD++ utilizes both ratings and binary ratings (whether a user evaluates an item or not). PureSVD fills all missing ratings with zeros, and then produces recommendation based on the SVD model. Based on the findings in Section IV-D, we set the parameter θ as 90%.

→ E. Q4: 우리의 접근법을 활용한 CF method의 Accuracy

네 가지 현존하는 method (ICF, SVD, SVD++, pureSVD)에 적용하고, 그 정확도 향상에 대한 효과를 검증한다.

SVD++는 rating과 binary rating (유저가 아이템을 평가했는지 여부) 모두를 활용한다.

PureSVD는 모든 누락된 평점을 0으로 채우고, 그런 다음 SVD 모델을 기반으로 추천을 생성한다.

섹션 IV-D의 결과를 바탕으로, parameter θ를 90%로 설정한다.

💡

네 가지 method (1) ICF (2) SVD → rating만 활용 (3) SVD++ → rating과 binary rating (유저가 아이템을 평가했는지 여부) 모두를 활용 (4) pureSVD → 모든 누락된 평점을 0으로 채움 에 우리의 접근법인 augmented matrix 를 생성하여 method의 input으로 활용하여 정확도 향상에 대한 효과를 검증

Table III. Accuracy of four CF methods equipped with our approach (θ=90%).

Table III shows the accuracy of all CF methods with and without our approach. We denote a CF method equipped with our approach as name_ZI (i.e., zero-injection) such as ICF_ZI, SVD_ZI, SVD++_ZI, and PureSVD_ZI. The numbers in boldface indicate the highest accuracy among all CF methods with and without our approach.

→ Table III는 우리의 접근법을 사용하고 사용하지 않는 모든 method의 정확도를 보여준다.

우리의 접근법을 갖춘 방법을 name_ZI (Zero Injection)로 표시한다.

예를 들어, ICF_ZI, SVD_ZI, SVD++_ZI, 그리고 PureSVD_ZI 등이다.

굵은 숫자는 우리의 접근법을 사용하고 사용하지 않는 모든 CF 방법 중에서 가장 높은 정확도를 나타낸다.

💡

이 표는 우리의 접근법이 기존의 CF 방법들의 정확도를 어떻게 향상시키는지를 명확하게 보여줍니다. 이는 사용자의 선호도를 더 정확하게 예측하고 그에 따라 더 적합한 아이템을 추천하기 위해 데이터 희소성 문제를 해결하는 방법의 중요성을 보여줍니다. 이는 사용자의 만족도를 높이고, 추천 시스템의 효율성과 정확성을 향상시키는 데 도움이 될 수 있습니다.

Among existing CF methods, PureSVD has the best accuracy while ICF shows the worst accuracy. In literature, both PureSVD and SVD++ are known to provide a better accuracy than SVD and ICF. We confirmed that our finding is consistent with [4]. We observe that our approach dramatically improves the accuracy of all the existing CF methods. For example, our approach improves P@5 of ICF, SVD, and SVD++ by 5, 3.3, and 2.5 times, respectively. When our approach is applied to PureSVD, its improvement is the smallest. The reason is that PureSVD already assigns zeros to all missing ratings, which is an idea similar to the zero-injection in our approach. However, PureSVD fills zeros even for the items that could be interesting to users, which could affect the accuracy adversely. Furthermore, our approach employs another strategy of excluding uninteresting items from top-N recommendation, that contributes to the slight accuracy improvement over PureSVD.

→ 기존의 method 중에서,는 가장 높은 정확도를 보이며 는 가장 낮은 정확도를 보인다.

문헌에서는 와 가 와 보다 더 높은 정확도를 제공한다고 알려져 있다.

우리의 발견이 [4]와 일치함을 확인했다.

우리의 접근법이 기존의 모든 method의 정확도를 드라마틱하게 향상시킨다는 것을 확인했다.

예를 들어, 우리의 접근법은 의 를 각각 5배, 3.3배, 2.5배 향상시킨다.

우리의 접근법이 에 적용될 때, 그 개선은 아주 미미하다.

이유는 가 이미 모든 누락된 평점에 0을 할당하고 있기 때문인데, 이것이 우리의 접근법의 zero-injection 아이디어와 유사하기 때문이다.

그러나, 는 사용자에게 interesting 아이템에 대해서도 0을 채워서 정확도에 부정적인 영향을 줄 수 있다.

또한, 우리의 접근법은 top-N개의 추천에서 uninteresting 아이템을 제외하는 다른 전략을 사용하므로, 이로 인해 PureSVD보다 약간의 정확도 향상에 기여한다.

💡

기존 method accuracy 순위 PureSVD > SVD++ >>>> SVD > ICF 우리의 접근법이 기존의 모든 method의 정확도를 드라마틱하게 향상시킨다 논문의 접근법이 적용된 method accuracy 순위 SVD > ICF >>>> SVD++ > PureSVD 기존의 의 를 각각 5배, 3.3배, 2.5배 PureSVD 경우, 이미 0으로 채워져 있는데, 왜 성능이 좋아질까(미미하지만) → top-N개의 추천에서 uninteresting 아이템을 제외하는 다른 전략을 사용하기 때문????

Among the CF methods equipped with our proposed approach, SVD_ZI performs the best, followed by ICF_ZI. Our approach improves both SVD and ICF greatly because they consider all unrated items as unknown ones. For this reason, SVD_ZI and ICF_ZI adopt additional information correctly by regarding zero ratings as uninteresting ones and null values as unknown ones. Meanwhile, our approach cannot improve SVD++ and PureSVD as much as SVD and ICF because SVD++ and PureSVD originally have a positive view on rated items and a negative view on unrated items. SVD++ builds a SVD model by considering whether a user rates an item, but SVD++_ZI cannot distinguish the uninteresting items and rated items because all of them have rating values. PureSVD_ZI fails to discriminate zero ratings and null values in our zero-injected matrix. Specifically, since it assigns zero ratings again to all unrated items in our zero-injected matrix, in view of rating scores, unrated interesting items (determined by our approach) are also regarded as uninteresting.

→ 우리의 제안된 접근법을 갖춘 method 중에서, SVD_ZI가 가장 좋은 성능을 보이며, 그 다음은 ICF_ZI이다.

우리의 접근법은 SVD와 ICF 모두를 크게 향상시키는데, 이는 그들이 모든 unrated item 아이템을 unknown 아이템으로 간주하기 때문이다.

이러한 이유로, SVD_ZI와 ICF_ZI는 0 평점을 uninteresting 아이템으로, null 값을 unknown 아이템으로 간주하여 추가 정보를 올바르게 적용한다.

한편, 우리의 접근법은 SVD++와 PureSVD를 SVD와 ICF만큼 향상시키지 못한다,

이는 SVD++와 PureSVD가 원래 rated item에 대해 긍정적인 시각을 가지고 unrated 아이템에 대해 부정적인 시각을 가지고 있기 때문이다.

SVD++는 유저가 아이템을 평가하는지 여부를 고려하여 SVD 모델을 구축하지만, SVD++_ZI는 모두 평점 값을 가지고 있기 때문에 uninteresting 아이템(0)과 rated 아이템(1)을 구별할 수 없다.

PureSVD_ZI는 zero-injected matrix에서 0 평점과 null 값을 구별하지 못한다.

구체적으로, zero-injected matrix에서 모든 unrated 아이템에 다시 0 평점을 할당하기 때문에, 평점 점수 측면에서 볼 때, unrated interesting item (우리의 접근법에 의해 결정됨)도 uninteresting item으로 간주된다.

💡

SVD와 ICF의 성능이 크게 개선됐던 이유 → Base: 모든 unrated item == unknown item → 즉, unrated item의 정보를 사용하지 X → 이로 인해, augmented matrix 에서 평점 0: uninteresting / null: unknown으로 간주하여 추가정보를 잘 사용 SVD++와 PureSVD의 성능 개선이 미미했던 이유 → Base: rated item: positive unrtaed item: negative → 즉 unrated item의 정보도 원래 사용했었다. 즉, SVD++은 augmented matrix 에 이미 많은 uninteresting item을 0으로 채워 놓았기 때문에, 아이템 평가여부(matrix )를 올바르게 사용 불가능 → 0으로 채워진 uninteresting item과 1로채워진 rated item을 구별할 수 없다(?근데 사실 구별 가능하지 않나?) 또한, PureSVD는 zero-injected matrix 에서 0과 null을 구별하지 못함 → 다시 0으로 채워넣음, → matrix 에서 null은 interesting item인데 → 다시 0으로 넣어서 uninteresting으로 넣음 →근데 왜 성능이 높아지지??? → 위에서는 top-N을 제외하기 떄문이라는데…

We note that SVD_ZI (the most accurate CF method equipped with our approach) has an accuracy about 2 times higher than PureSVD on average, the best one among existing CF methods, found in our experiments and also reported in [4]. Furthermore, PureSVD_ZI, the least accurate CF method equipped with our approach, still outperform all existing CF methods without using our approach.

→ 우리의 접근법을 갖춘 가장 정확한 method인 SVD_ZI는 평균적으로 현존하는 method 중 최고인 PureSVD보다 약 2배 높은 정확도를 가지며, 이는 우리의 실험에서 발견되었고 기록되었다.

더욱이, 우리의 접근법을 갖춘 가장 최소 정확도를 갖는 method인 PureSVD_ZI도 우리의 접근법을 사용하지 않는 모든 기존 CF method를 여전히 능가한다.

💡

우리의 접근법이 추가된 SVD_ZI >> 현존하는 최고 CFmethod인 PureSVD 약 2배 높은 정확도 가장 최소 정확도를 갖는 PureSVD_ZI도 PureSVD보다 높다. method인 PureSVD_ZI >> PureSVD

In summary, our approach significantly improves the accuracy of all four CF methods used in our experiments via zero-injection while the degrees of improvement vary. As the answer to Q4, therefore, we conclude that our approach improves the accuracy of existing CF methods by 2.5 to 5 times on average, which is significant in comparison with the results obtained by other state-of-the-art methods reported in literature [4], [7].

→ 요약하자면, 우리의 접근법은 zero-injection을 통해 우리의 실험에서 사용한 네 가지 method들의 정확도를 크게 향상시키며, 향상의 정도는 다양하다.

따라서 Q4에 대한 답변으로, 우리의 접근법이 기존 method들의 정확도를 평균적으로 2.5배에서 5배 향상시키는 것으로 결론지으며, 이는 문헌에 보고된 다른 SOTA method에 의해 얻어진 결과와 비교하여 중요하다.

💡

Q4에 대한 답변으로, 우리의 접근법이 기존 method들의 정확도를 평균적으로 2.5배에서 5배 향상시키는 것으로 결론지으며, 이는 문헌에 보고된 다른 SOTA method에 의해 얻어진 결과와 비교하여 중요하다.

F. Q5: Running Time of CF Methods with Our Approach

In this section, we compare the execution times of CF methods with and without our approach. Our approach has both strengths and weaknesses in terms of execution times. We note the weaknesses happen at the pre-computation stage (offline) while the strengths happen at the recommendation stage (online). The CF methods build a model or computes similarities of item pairs during the pre-computation stage; they compute relative preferences and find top-N items during the recommendation stage.

→ F. Q5: 우리의 접근법을 사용한 method의 Running time

이 섹션에서는 우리의 접근법을 사용하는 method들과 그렇지 않은 것들과의 실행 시간을 비교한다.

우리의 접근법은 실행 시간면에서 장점과 단점이 모두 있다.

단점은 pre-computation stage (offline)에서 발생하고,

장점은 recommendation stage (online)에서 발생한다는 것을 언급한다.

method들은 pre-computation stage에서 모델을 구축하거나 아이템 쌍의 similarities를 계산한다.

recommendation stage에서 relative preference를 계산하고 top-N개의 아이템을 찾는다.

💡

우리의 접근법은 실행 시간면에서 장점과 단점이 모두 있다.

단점은

pre-computation stage (offline)에서 발생, → (1) 모델 building (2) item similality 계산(잘 못 나오는가?) (1)에서 모든 누락된 평점에 대한 pre-use preference score를 구함 즉, 실행 시간 증가 를 만들고 →

장점은

recommendation stage (online)에서 발생

→ relative preference (top-N 생성) 후보 아이템의 수를 크게 줄이기 때문에 즉, 실행 시간 감소

Our approach reduces the recommendation time because it significantly reduces the number of candidate items whose relative preferences need to be predicted. Meanwhile, our approach may require more pre-computation time because it has to infer pre-use preference scores for all missing ratings by exploiting the OCCF method. In this section, therefore, we study the trade-off of our approach by examining the running time when our approach is applied to both ICF and SVD.

→ 우리의 접근법은 예측해야 하는 후보 아이템의 수(빈셀)를 크게 줄이기 때문에 recommendation time을 줄인다.

한편, 우리의 접근법은 method을 활용하여 모든 누락된 평점에 대한 pre-use preference score를 추론해야 하므로 더 많은 pre-computation time을 요구할 것이다.

따라서 이 섹션에서는 우리의 접근법이 와 에 적용될 때 실행 시간을 실험함으로써 우리의 접근법의 trade-off를 연구다.

💡

Figure 11 shows both recommendation and precomputation times of SVD_ZI, SVD, SVD++, and pureSVD. Specifically, the recommendation time indicates those for predicting users' ratings and providing the items to users; the pre-computation time indicates the time for building a SVD model with a rating matrix R (SVD, SVD++, and PureSVD) and a zero-injected matrix Z (SVD_ZI). In Figure 11(a), the recommendation time of SVD_ZI decreases rapidly as θ increases because there remain fewer candidate items as θ increases. In addition, SVD_ZI takes a shorter time at the recommendation stage. It takes about 1.54 seconds when it has the highest accuracy (θ=90%), which is 17% shorter than that of SVD.

→ Figure 11은 SVD_ZI, SVD, SVD++, pureSVD의 recommendation time과 precomputation times을 모두 나타낸다.

구체적으로,

recommendation time은

(1) 사용자의 평점을 예측하고(유사도 계산 필요..?)

(2) 사용자에게 아이템을 제공하는 데 걸리는 시간을 나타내며,

precomputation times은

(1) rating matrix (SVD, SVD++, PureSVD)과

(2) zero-injected matrix (SVD_ZI)로 SVD 모델을 구축하는 데

걸리는 시간을 나타낸다.

Figure 11(a)에서, SVD_ZI의 recommendation time은 가 증가함에 따라 빠르게 감소하는데, 이는 θ가 증가함에 따라 후보 아이템이 적어지기 때문이다.

또한, SVD_ZI는 recommendation stage에서 더 짧은 시간이 소요된다.

가장 높은 정확도를 가질 때 (θ=90%) 약 1.54초가 소요되며, 보다 17% 더 짧다.

💡

recommendation time은 약 0.3초 차이??

(1) 사용자의 평점을 예측하고

(2) 사용자에게 아이템을 제공하는 데 걸리는 시간을 나타내며, → 감소이유: θ가 증가함에 따라 후보 아이템이 적어지기 때문

precomputation times은

(1) rating matrix (SVD, SVD++, PureSVD)과

(2) zero-injected matrix (SVD_ZI)로 SVD 모델을 구축하는 데

걸리는 시간을 나타낸다.

Fig. 11. Execution time of SVD variants.

In Figure 11(b), SVD_ZI takes more time to pre-process items with larger θ, and is slower than SVD and PureSVD. This is because SVD_ZI builds two models, one built based on the pre-use preference matrix P and the other based on the zero-injected matrix Z while both SVD and PureSVD build only a single model. SVD_ZI, however, needs less precomputation time than SVD++ that has a more complicated process for building a model.

→ Figure 11(b)에서, SVD_ZI는 더 큰 를 가진 아이템을 pre-process 하는 데 더 많은 시간이 걸리며, 와 보다 느리다.

SVD_ZI가 두 개의 모델을 생성하기 때문인데,

(1) 하나는 pre-use preference matrix 를 기반으로 하고

(2) 다른 하나는 zero-injeccted matrix 를 기반으로 한다.

반면, 와 는 단일 모델만을 생성한다.

그러나 는 모델을 구축하는 데 더 복잡한 과정을 가진 보다 더 적은 precomputation time이 필요하다.

💡

SVD_ZI가 두 개의 모델을 생성하기 때문에 느리다,

(1) pre-use preference matrix

(2) zero-injeccted matrix

와 는 단일 모델만을 생성한다. SVD : rating matrix PureSVD: rating matrix 에 unrated item에 모두 0을 채움 그러나 SVD++는 모델 생성이 더 복잡하다 (1) rating matrix (2) pre-use preference matrix

Figure 12 shows both recommendation and precomputation times of ICF_ZI and ICF. The pre-computation time indicates the time for computing the similarities of all pairs of items. In Figure 12(a), when θ is smaller than 20%, the recommendation time of ICF_ZI increases as θ increases. This is because a more number of ratings are used for predicting a rating. It decreases linearly as θ increases when θ is higher than 20%. This is because the number of ratings used for prediction is fixed as (explained in Section III-D) from this point while there remain a fewer items whose rating is null as θ is set larger. Compared with ICF, ICF_ZI requires less recommendation time when θ is larger than 70%. As we know that the accuracy of ICF_ZI gets higher as θ increases, a user would be satisfied with ICF_ZI when θ is set larger than 70% in terms of both accuracy and recommendation time.

→ Figure 12는 ICF_ZI와 ICF의 recommendation time과 precomputation time을 모두 보여준다. precomputation time은 모든 아이템 쌍의 similarities를 계산하는 데 걸리는 시간을 나타낸다.

→ 왜 precomputation time에서 유사도를 계산하는가?

Figure 12(a)에서, θ가 20%보다 작을 때,

ICF_ZI의 recommendation time은 θ가 증가함에 따라 증가한다.

왜냐하면 더 많은 수의 평점이 평점 예측에 사용되기 때문이다.????

→ 이해가 안되네?? 유사도 제외하고, weight sum만 증가하기 때문인가?

θ가 20%보다 높을 때,

recommendation time은 θ가 증가함에 따라 선형적으로 감소한다.

왜냐하면 이 시점부터 예측에 사용되는 평점의 수가 k로 고정되고, θ가 더 크게 설정됨에 따라 평점이 null인 아이템의 수가 줄어들기 때문이다.

ICF_ZI는 θ가 70%보다 클 때 보다 더 적은 recommendation time이 요구된다.

ICF_ZI의 정확도는 θ가 증가함에 따라 높아지는 것을 알고 있기 떄문에 사용자는 정확도와 recommendation time 면에서 θ가 70%보다 크게 설정될 때 ICF_ZI에 만족할 것이다.

💡

Figure 12(a)에서, θ가 20%보다 작을 때,

ICF_ZI의 recommendation time은 θ가 증가함에 따라 증가한다.

왜냐하면 더 많은 수의 평점이 평점 예측에 사용되기 때문이다.????

→ 이해가 안되네?? → 즉, similarily를 계산하기 위해 필요한 유저 이 증가하기 때문에 아이템간의 similarity를 계산하는 시간이 늘어남 즉, θ가 20%보다 작을 때, 의 개수가 개보다 작다가 일부 matrix가 채워지면서 k까지 점점 증가 → 이 때 집합의 개수가 증가하는 것이므로 이 아이템과 유사도를 구하는 계산량이 증가하게 됨.

θ가 20%보다 높을 때,

recommendation time은 θ가 증가함에 따라 선형적으로 감소한다.

왜냐하면 이 시점부터 예측에 사용되는 평점의 수가 k로 고정되고(maximum), θ가 더 크게 설정됨에 따라 평점이 null인 아이템의 수가 줄어들기 때문이다.

ICF_ZI는 θ가 70%보다 클 때 보다 더 적은 recommendation time이 요구된다. <참고>

recommendation time은 여기서는 약 1000초 차이??

(1) 사용자의 평점을 예측하고

(2) 사용자에게 아이템을 제공하는 데 걸리는 시간을 나타내며, → 감소이유: θ가 증가함에 따라 후보 아이템이 적어지기 때문

precomputation times은 160초 차이?

(1) rating matrix (SVD, SVD++, PureSVD)과

(2) zero-injected matrix (SVD_ZI)로 SVD 모델을 구축하는 데

걸리는 시간을 나타낸다.

Fig. 12. Execution time for ICF variants.

Figure 12(b) shows the pre-computation time for computing similarities between items [19]. The pre-computation time of ICF_ZI increases as θ increases because a more number of ratings need to be compared to compute similarities of a pair of items. Therefore, ICF_ZI requires more pre-computation time than ICF does.

→ Figure 12(b)는 아이템 간의 유사도를 계산하는 데 필요한 pre-computation time을 나타낸다.

ICF_ZI의 pre-computation time은 아이템 쌍의 유사도를 계산하기 위해 더 많은 수의 평점을 비교해야 하므로 θ가 증가함에 따라 증가한다. → 왜 유사도를 계산하지???

따라서, ICF_ZI는 보다 더 많은 pre-computation time이 요구된다.

💡

In summary, our approach reduces the recommendation times of SVD and ICF with θ>70% while it needs more precomputation time. Considering that online recommendation time is more crucial than offline pre-computation time, we strongly believe that our approach improves those CF methods in terms of running times. As the answer to Q5, therefore, according to Figures 9, 11, and 12, the CF methods equipped with our approach produce more accurate results in a shorter time when θ is Set higher than 70%.

→ 요약하자면, 우리의 접근법은 θ>70%인 와 의 recommendation times을 줄인다. 반면에 더 많은 precomputation time이 필요하다.

online recommendation time이 offline pre-computation time보다 더 중요하다는 점을 고려할 때(???왜 online이 더 중요하지???) , 이 접근법이 실행 시간 면에서 이러한 method들을 개선한다고 강하게 믿는다.

따라서 에 대한 답변으로, Figure 9, 11, 12에 따르면, 우리의 접근법을 갖춘 method들은 θ가 70%보다 높게 설정될 때 더 짧은 시간에 더 정확한 결과를 생성한다.

💡

Related Work

In general, CF methods are categorized into two types: memory-based and model-based [1]. First, memory-based methods [3], [16], [19] predict the ratings of a user using the similarity of her neighborhoods, and recommend the items with high ratings. Second, model-based methods [11], [24] build a model capturing a users' ratings on items, and then predict her unknown ratings based on the learned model.

→ 일반적으로 method들은 두 가지 유형으로 분류된다

(1) memory-based

(2) model-based

첫째, (1) memory-based method는

사용자의 이웃들의 유사성을 사용하여

1) 사용자의 평점을 예측하고,

2) 높은 평점을 가진 아이템을 추천한다.

둘째, model-based method는

사용자들이 아이템에 대해 평가한 것을 포착하는 모델을 구축하고,

학습된 모델을 기반으로 알려지지 않은(unknown ratings) 평점을 예측한다.

💡

Most CF methods, despite their wide adoption in practice, suffer from low accuracy if most users rate only a few items (thus producing a very sparse rating matrix), called the data sparsity problem [9]. This is because the number of unrated items is significantly more than that of rated items. To address this problem, some existing work attempts to infer users' ratings on unrated items based on additional information such as clicks [12] and bookmarks [14]. While reporting improvements, however, these works require an overhead of collecting extra data, which itself may have another data sparsity problem. Compared to [12], [14], our proposal does not require any extra data and solely work using an existing rating matrix.

→ 대부분의 method들은 실제로 널리 적용되고 있음에도 불구하고 대부분의 사용자들이 소수의 아이템만 평가하면 (즉, 매우 sparse rating matrix를 생성하면) 낮은 정확도로 고통받는다. 이를 data sparsity problem이라고 한다.

unrated item 수가 rating item의 수보다 훨씬 많기 때문이다.

이 문제를 해결하기 위해 일부 기존 연구는 clicks, bookmark와 같은 추가 정보를 바탕으로 unrated item에 대한 사용자의 평점을 추론하려고 시도한다.

그러나 이러한 연구들은 개선을 기록하면서도, 추가 데이터를 수집하는 오버헤드를 필요로 하며, 이 자체가 또 다른 data sparsity problem을 가질 수 있다.

[12], [14]와 비교하여, 이 제안은 어떠한 추가 데이터도 필요로 하지 않고 기존의 오직 rating matrix만을 사용하여 작동한다.

💡

문제: data sparsity problem의 문제가 존재 이유: unrated item 수 >> rating item 수 해결안: (1) using extra data: click, boormark → predict unrated item But, 개선사항이 존재하지만 overhead, click, bookmark도 결국 또다른 data sparsity problem을 만듬 →하지만 우리거는 이러한 extra data가 필요 없다. original rating matrix만 사용한다.

In addition, to improve the accuracy of recommendation, other works attempted to leverage both ratings and the fact whether a user evaluates an item or not. For instance, SVD++ [2], [10] builds an extended SVD model exploiting both information. The conditional restricted Boltzmann machine (RBM) [17] and constrained probabilistic matrix factorization (PMF) [18] also account for both of information in learning their models. However, these approaches have a rather simplistic assumption such that a user would dislike all unrated items. On the other hand, we strive to discern a sebset of unrated items that users truly dislike. As such, as demonstrated in experiments, our proposal yields several orders of magnitude improvements in accuracy, compared to these appraoches (e.g., SVD++).

→ 또한, 추천의 정확도를 향상시키기 위해 다른 연구들은 rating과 아이템 평가 여부 모두 활용하려고 시도했다.

예를 들어, 은 두 정보를 모두 활용하여 확장된 SVD 모델을 생성한다.

RBM과 PMF도 그들의 모델을 학습하는 데 두 정보를 모두 고려한다.

그러나 이러한 접근방식들은 사용자가 모든 unrated item을 싫어할 것이라는 꽤 심플한 가정을 가지고 있다.

반면에, 우리는 사용자가 정말로 싫어하는 unrated 아이템의 부분 집합을 구별하려고 노력한다.

따라서, 실험에서 보여준 것처럼, 우리의 제안은 이러한 접근법들 (예: SVD++)에 비해 몇 배의 정확도 향상을 가져온다.

💡

다른 예) svd++, RBM, PMF → rating matrix , 아이템 평가여부(rating matrix ) → unrated item —> uninteresting item이라는 것을 가정 But, 우리거는 정말 싫어하는 unintesting item을 unrated item에서 구별함

Finally, several CF methods (e.g., [4], [22]) have proposed to fill missing ratings with a particular value in order to improve the accuracy. They also simply assume that a user would dislike all unrated items. Based on this assumption, for instance, PureSVD [4] fills all missing ratings with zeros, and then makes prediction using both known ratings and zero ratings. Steck [22] assigns a low value to all missing ratings, and then makes recommendation by learning a multinomial mixture model. By filling all missing ratings with low values, however, this approach could mistakenly assign low values to the items that users might like, thereby hurting an overall accuracy in recommendation. While the idea of “zero-injection” in our approach is analogous to these works, our approach selectively applies the zero-injection to only uninteresting items with low pre-use preferences, maximizing the impact of filling missing ratings.

→ 마지막으로, 몇몇 method(예: [4], [22])는 누락된 평점을 특정 값으로 채워 정확도를 향상시키려고 제안했다.

그들 또한 단순히 사용자가 모든 unrated item을 싫어할 것이라고 가정한다.

예를 들어 이 가정에 기반하여, PureSVD [4]는 모든 누락된 평점을 0으로 채우고,

(1) 알려진 평점과 (2) 0 평점을 모두 사용하여 예측을 한다.

Steck [22]는 모든 누락된 평점에 낮은 값을 할당하고, 다항 혼합 모델을 학습하여 추천을 한다.

그러나 모든 누락된 평점에 낮은 값들을 채움으로써, 이 접근법은 사용자가 좋아할 수 있는 아이템에 잘못된 낮은 값을 할당할 수 있어 추천의 전반적인 정확도를 저해할 수 있다.

우리의 접근법에서의 "zero-injection" 아이디어는 이러한 작업들과 유사하지만, 우리의 접근법은 zero-injection을 pre-use preference가 낮은 uninteresting아이템에만 선택적으로 적용함으로써 누락된 평점을 채우는 효과를 극대화한다.

💡

사용자가 모든 unrated item을 싫어할 것이라고 가정 PureSVD [4]는 모든 누락된 평점을 0으로 채우고,

(1) 알려진 평점과 (2) 0 평점을 모두 사용하여 예측을 한다. But 우리는 zero-injection을 pre-use preference가 낮은 uninteresting아이템에만 선택적으로 적용함으로써 누락된 평점을 채우는 효과를 극대화

Conclusion

While existing CF methods mainly focus on using only rated items in a rating matrix, we observe that some unrated items could be also used to predict users' ratings if they are successfully recognized as uninteresting items. Based on this observation, we proposed a novel approach to unearth such uninteresting items by using a new notion of pre-use preferences in the borrowed OCCF framework and assigns zero ratings to those items. This approach not only significantly augments a rating matrix with many zeros, which alleviates the data sparsity problem, but also prevents those uninteresting items from being recommended. Our approach is method-agnostic and thus can be easily applied to a wide variety of known CF methods. Through comprehensive experiments, we successfully demonstrated that our proposed approach is effective and practical, dramatically improving the accuracies of existing CF methods (e.g., item-based CF, SVD-based CF, and SVD++) by 2.5 to 5 times. Furthermore, our approach reduces the running time of those CF methods by 1.2 to 2.3 times when its setting produces the best accuracy.

→ 기존의 method들은 주로 rating matrix의 rated item만을 사용하는 데 초점을 맞추고 있지만, 우리는 일부 unrated item들이 uninteresting item으로 성공적으로 인식되면 사용자의 평점을 예측하는 데 사용될 수 있다는 것을 발견했다.

이러한 관찰에 기반하여, 우리는 프레임워크에서의 pre-use preference라는 새로운 개념을 사용하여 이러한 uninteresting item을 찾아내는 새로운 접근법을 제안하였고, 이러한 아이템에 0 평점을 할당하였다.

이를 통해 많은 수의 0으로 rating matrix를 크게 확장하여 data sparsity problem을 완화하는 것 뿐만 아니라, 이러한 uninteresting 아이템이 추천되는 것을 방지한다.

우리의 접근법은 방법에 의존하지 않으므로 다양한 알려진 method들에 쉽게 적용될 수 있다.

종합적인 실험을 통해, 우리는 우리의 제안된 접근법이 효과적이고 실용적이며, 기존 method (예: ICF, SVD-CF, SVD++)의 정확도를 2.5배에서 5배까지 크게 향상시키는 것을 성공적으로 보여주었다.

또한, 우리의 접근법은 최상의 정확도를 내는 설정에서 이러한 method들의 실행 시간을 1.2배에서 2.3배까지 줄다.

💡

기존의 method → rating matrix의 rated item만을 사용 우리는 → 일부 unrated item들에서 uninteresting item으로 성공적으로 인식되면 평점을 예측하는 데 rating matrix로 사용될 수 있다는 것을 발견

에서 pre-use preference라는 새로운 개념을 사용하여 → uninteresting item을 찾아내는 새로운 접근법을 제안 → uninteresting item에 0 평점을 할당하였다.

이를 통해, (1) data sparsity problem을 완화 (2) uninteresting 아이템이 추천되는 것을 방지

또한 다양한 method들에 쉽게 적용 가능

실험을 통해, 제안된 접근법이 효과적이고 실용적이며, 기존 method (예: ICF, SVD-CF, SVD++)의 정확도를 2.5배에서 5배까지 크게 향상시키는 것을 보여줌

또한, 우리의 접근법은 최상의 정확도를 내는 설정에서 이러한 method들의 실행 시간을 1.2배에서 2.3배까지 줄다.

See more posts

[리뷰] Structural Patterns and Generative Models of Real-world Hypergraphs

March 19, 2024

[Review] Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions

February 9, 2024

[Review] PageRank: Standing on the Shoulders of Giants

January 26, 2024

PyTorch란?

December 31, 2023

[Review] “Told You I Didn’t Like It”: Exploiting Uninteresting Items for Effective Collaborative Filtering

Recommender System

Abstract ~ Introduction

Abstract

Introduction

Hypothesis 1

Idea 1: Exploit Uncharted Unrated Items

Idea 2: Some Unrated Items are Uninteresting

Idea 3: Uninteresting Items Have Low Pre-Use Preferences

Preliminaries ~ Proposed Approach: A. Inferring Pre-Use Preferences

Preliminaries

Example 1: Two Preference Types

Definition 1: Uninteresting Items

Problem 1: Top-N Recommendation

Proposed Approach

A. Inferring Pre-Use Preferences

Proposed Approach: B. Identifying Uninteresting Items ~ Evaluation: C. Q2: User’s Satisfaction on Uninteresting Items

B. Identifying Uninteresting Items

Example 2

C. Zero-Injection

D. Why Does Zero-Injected Matrix Help?

Evaluation

A. Experimental Set-Up

B. Q1: Inference of Pre-Use Preferences

C. Q2: User's Satisfaction on Uninteresting Items

Evaluation: D. Q3: Effect of Parameter ~ Conclusion

D. Q3: Effect of Parameter θ

E. Q4: Accuracy of CF Methods with Our Approach

F. Q5: Running Time of CF Methods with Our Approach

Related Work

Conclusion

More articles

[리뷰] Structural Patterns and Generative Models of Real-world Hypergraphs

[Review] Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions

[Review] PageRank: Standing on the Shoulders of Giants

PyTorch란?